Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← К новостям

Sarvam открыла для всех платформу инференса в Индии

Sarvam открыла Sarvam Token Factory для всех пользователей. Управляемая платформа инференса запускает собственные и open-weight модели на GPU-кластерах NVIDIA B200 в Индии через единый OpenAI-совместимый API. В опубликованный при запуске список из восьми моделей вошли Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro и Gemma 4 31B. Для корпоративных клиентов доступно развёртывание on-premise.

Архитектура использует маршрутизатор с учётом кеша, отдельные пулы GPU для prefill и decode, а также кеш в памяти GPU и общем хранилище G3 на базе Mooncake. По данным Sarvam, при обслуживании более 450B токенов в день 95,7% prompt-токенов DeepSeek V4.1 Flash поступали из кеша. Использование весов MXFP8 и спекулятивного декодирования позволило сократить число B200 на одну реплику Sarvam 105B с двух до одного.

Приведённые результаты получены в собственных измерениях Sarvam. Для DeepSeek V4.1 Flash с prompt на 1K токенов компания зафиксировала 0,51 секунды до первого токена из Мумбая. При prompt на 10K Together показала 0,71 секунды против 0,90 секунды у Sarvam. Вводные тарифы до конца 2026 года начинаются с ₹10 за вход и ₹25 за выход на 1M токенов для Sarvam 105B.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости