Sarvam відкрила для всіх платформу інференсу в Індії
Sarvam відкрила Sarvam Token Factory для всіх користувачів. Керована платформа інференсу запускає власні та open-weight моделі на GPU-кластерах NVIDIA B200 в Індії через єдиний OpenAI-сумісний API. До переліку з восьми моделей на старті увійшли Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro і Gemma 4 31B. Для корпоративних клієнтів доступне локальне розгортання.
Архітектура поєднує маршрутизатор із підтримкою кешу, окремі пули GPU для prefill і decode, а також кеш у пам’яті GPU та спільному сховищі G3 на базі Mooncake. За даними Sarvam, під час обробки понад 450B токенів на день із кешу надходило 95,7% prompt-токенів DeepSeek V4.1 Flash. Використання ваг MXFP8 і спекулятивного декодування скоротило потребу Sarvam 105B з двох B200 на репліку до одного.
Усі наведені показники продуктивності отримані в тестах Sarvam. Для DeepSeek V4.1 Flash із prompt на 1K токенів компанія зафіксувала 0,51 секунди до першого токена з Мумбая. За prompt на 10K Together показала 0,71 секунди проти 0,90 секунди у Sarvam. Вступні тарифи до кінця 2026 року починаються з ₹10 за вхід і ₹25 за вихід на 1M токенів для Sarvam 105B.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.