DeepSeek публикува с отворен код енджина за инференс, който захранва най-бързия и евтин AI модел на компанията

Deepseek предостави DeepInfer, своя вътрешна инференс рамка, с отворен код под лиценза Apache 2.0. Инференсът е начинът, по който обучен AI модел обработва заявки и генерира отговори. DeepInfer е софтуерът за обслужване, който позволява на модела V4.1-Flash на Deepseek да генерира отговори бързо и в голям мащаб.

Рамката е базирана на vLLM и включва оптимизирани изчислителни ядра, разпределена обработка между множество чипове и по-бързи техники за генериране на текст. Кодът за бъдещите модели на Deepseek също ще бъде публикуван като софтуер с отворен код. Deepseek пуска и deepseek-recipe, който възпроизвежда обработката на токени от официалния API на Deepseek, така че самостоятелно хостваните инсталации да работят по същия начин.

Моделите на Deepseek вече са изключително евтини. DeepInfer запълва последната празнина, като позволява те да се използват на още по-ниска цена. Целта е „да помогнем на общността да намали разходите за изчисления, да ограничи потреблението на енергия и да направи AI по-достъпен“, заяви компанията в X. Но публикацията също така засилва ценовия натиск върху западни доставчици като OpenAI и Anthropic. Предвид надпреварата в областта на AI между Китай и САЩ, ходът може да е мотивиран и политически. Ако западните AI компании не постигнат целите си за растеж, това представлява риск за икономиката на САЩ и извън нея.

AI новини без сензации – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен AI бюлетин, нашия ексклузивен шест пъти годишно доклад за най-новите разработки „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.