DeepSeek відкриває код рушія інференсу, що забезпечує роботу її найшвидшої та найдешевшої ШІ-моделі

Deepseek відкрив вихідний код DeepInfer, свого внутрішнього фреймворку для інференсу, за ліцензією Apache 2.0. Інференс — це процес, у якому навчена модель ШІ обробляє запити та генерує відповіді. DeepInfer — це програмне забезпечення для обслуговування моделей, яке дає змогу моделі Deepseek V4.1-Flash швидко генерувати відповіді у великих масштабах.

Фреймворк побудований на основі vLLM та містить оптимізовані обчислювальні ядра, розподілену обробку на кількох чипах і швидші методи генерації тексту. Код майбутніх моделей Deepseek також випускатиметься у відкритому доступі. Deepseek також випускає deepseek-recipe, який відтворює обробку токенів офіційним API Deepseek, щоб самостійно розгорнуті системи працювали так само.

Моделі Deepseek уже надзвичайно дешеві. DeepInfer заповнює останню прогалину, даючи змогу запускати їх ще дешевше. Мета — «допомогти спільноті знизити витрати на обчислення, скоротити використання енергії та зробити ШІ доступнішим», заявила компанія в X. Але цей реліз також посилює ціновий тиск на західних постачальників, таких як OpenAI та Anthropic. З огляду на гонку у сфері ШІ між Китаєм і США, цей крок може мати й політичне підґрунтя. Якщо західні компанії, що працюють у сфері ШІ, не досягнуть своїх цілей зростання, це становитиме ризик для економіки США та не тільки.

Новини про ШІ без ажіотажу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний шість разів на рік звіт про передові розробки «AI Radar», повний доступ до архіву та доступ до розділу коментарів.