DeepSeek открывает исходный код движка инференса, на котором работает её самая быстрая и дешёвая ИИ-модель

Deepseek открыла исходный код DeepInfer — своего внутреннего фреймворка инференса — по лицензии Apache 2.0. Инференс — это процесс, в ходе которого обученная ИИ-модель обрабатывает запросы и генерирует ответы. DeepInfer — это программное обеспечение для обслуживания моделей, позволяющее модели Deepseek V4.1-Flash быстро генерировать ответы в больших масштабах.

Фреймворк создан на основе vLLM и включает оптимизированные вычислительные ядра, распределённую обработку на нескольких чипах и более быстрые методы генерации текста. Код для будущих моделей Deepseek также будет выпускаться с открытым исходным кодом. Deepseek также выпускает deepseek-recipe, который воспроизводит обработку токенов в официальном API Deepseek, благодаря чему самостоятельно размещённые системы работают так же.

Модели Deepseek уже стоят очень дёшево. DeepInfer устраняет последнее препятствие, позволяя запускать их ещё дешевле. Цель — «помочь сообществу снизить вычислительные затраты, сократить энергопотребление и сделать ИИ более доступным», заявила компания в X. Однако этот релиз также усиливает ценовое давление на западных поставщиков, таких как OpenAI и Anthropic. Учитывая гонку в сфере ИИ между Китаем и США, этот шаг может быть продиктован и политическими мотивами. Если западные ИИ-компании не достигнут целевых показателей роста, это станет риском для экономики США и не только.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный обзор передовых разработок "AI Radar" шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.