Sarvam открыла для всех платформу инференса в Индии
Sarvam открыла Sarvam Token Factory для всех пользователей. Управляемая платформа инференса запускает собственные и open-weight модели на GPU-кластерах NVIDIA B200 в Индии через единый OpenAI-совместимый API. В опубликованный при запуске список из восьми моделей вошли Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro и Gemma 4 31B. Для корпоративных клиентов доступно развёртывание on-premise.
Архитектура использует маршрутизатор с учётом кеша, отдельные пулы GPU для prefill и decode, а также кеш в памяти GPU и общем хранилище G3 на базе Mooncake. По данным Sarvam, при обслуживании более 450B токенов в день 95,7% prompt-токенов DeepSeek V4.1 Flash поступали из кеша. Использование весов MXFP8 и спекулятивного декодирования позволило сократить число B200 на одну реплику Sarvam 105B с двух до одного.
Приведённые результаты получены в собственных измерениях Sarvam. Для DeepSeek V4.1 Flash с prompt на 1K токенов компания зафиксировала 0,51 секунды до первого токена из Мумбая. При prompt на 10K Together показала 0,71 секунды против 0,90 секунды у Sarvam. Вводные тарифы до конца 2026 года начинаются с ₹10 за вход и ₹25 за выход на 1M токенов для Sarvam 105B.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.