Tensormesh با جذب ۴.۵ میلیون دلار، بار سرورهای هوش مصنوعی را بیشتر می‌کند

Tensormesh با ورود به میدان با ۴.۵ میلیون دلار بودجه جدید، پا به اقدام بزرگی گذاشته است. این بودجه توسط Laude Ventures رهبری شد و همچنین حمایت‌های مالی از مایکل فرانکلین، پیشگام در صنعت پایگاه داده‌ها نیز دریافت شد.

تنسورمش در حال استفاده از این بودجه برای توسعه نسخه تجاری ابزار متن‌باز LMCache است که توسط یکی از بنیان‌گذاران تنسورمش، یی‌هوا چنگ ایجاد و نگهداری می‌شود. LMCache می‌تواند هزینه‌های استنتاج را به طور قابل توجهی تا ده برابر کاهش دهد؛ قابلیتی که آن را به یک ابزار مهم در استقرارهای متن‌باز تبدیل کرده است و در حال حاضر از سوی گوگل و انویدیا نیز مورد توجه قرار گرفته است.

در هسته‌ی سیستم ذخیره‌سازی کلید-مقدار یا KV cache، سیستم حافظه‌ای است که برای پردازش مؤثرتر ورودی‌های پیچیده به استفاده می‌شود. در معماری‌های سنتی، این حافظه در پایان هر پرس‌وجو نادیده گرفته می‌شود، اما مدیرعامل تنسورمش، جون‌چن جیانگ بحث می‌کند که این کار بسیار ناکارآمد است.

به‌جای نادیده گرفتن این حافظه، سیستم‌های تنسورمش آن را حفظ می‌کنند و اجازه می‌دهند دوباره در جریانات مشابه مورد استفاده قرار گیرد. این رویکرد به ویژه برای رابط‌های گفتگوی آنلاین قدرتمند است، جایی که مدل‌ها باید به طور مداوم به سابقه گفتگو مراجعه کنند.

در تئوری، شرکت‌های هوش مصنوعی می‌توانند این تغییرات را خودشان پیاده‌سازی کنند — اما پیچیدگی فنی، چالشی جدی ایجاد می‌کند. با توجه به تحقیق تنسورمش در این فرایند، آنها امیدوارند که محصولی با تقاضای بالا ارائه دهند.