DeepSeek و مدل جدیدش برای نصف کردن هزینه‌های API

محققان DeepSeek روز دوشنبه یک مدل آزمایشی جدید به نام V3.2-exp را منتشر کردند که طراحی شده تا هزینه‌های پیش‌بینی در عملیات‌های بلندمدت را به طور چشمگیری کاهش دهد.

این مدل جدید به نام DeepSeek Sparse Attention، از یک سیستم پیچیده استفاده می‌کند که در یک نمودار زیر به صورت جزئی شرح داده شده است. به طور خلاصه، سیستم از یک ماژول به نام 'ایندکسر سریع' برای اولویت‌بندی بخش‌های خاصی از حوزه متن استفاده می‌کند. پس از آن، سیستم دیگری به نام 'سیستم انتخاب توکن دقیق' توکن‌های خاصی از این بخش‌ها را برای بارگذاری در پنجره توجه محدود ماژول انتخاب می‌کند.

آزمایش‌های اولیه DeepSeek نشان داد که هزینه یک تماس ساده API می‌تواند تا نصف کاهش یابد. مدل به محض این که بر روی Hugging Face به صورت وزن باز و رایگان در دسترس قرار گیرد، می‌تواند توسط طرف‌های سوم مورد آزمایش قرار گیرد.

این مدل جدید یکی از مجموعه موفقیت‌های اخیر است که با مشکل هزینه پیش‌بینی مقابله می‌کند — اساساً، هزینه‌های سرور برای عملیات یک مدل AI تحت آموزش، متناسب با هزینه آموزش آن. این شرکت در چین مستقر است و در حال اعتباربخشی به روش‌های جالب در دوران شکوه AI می‌باشد.