Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← До новин

Sarvam відкрила для всіх платформу інференсу в Індії

Sarvam відкрила Sarvam Token Factory для всіх користувачів. Керована платформа інференсу запускає власні та open-weight моделі на GPU-кластерах NVIDIA B200 в Індії через єдиний OpenAI-сумісний API. До переліку з восьми моделей на старті увійшли Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro і Gemma 4 31B. Для корпоративних клієнтів доступне локальне розгортання.

Архітектура поєднує маршрутизатор із підтримкою кешу, окремі пули GPU для prefill і decode, а також кеш у пам’яті GPU та спільному сховищі G3 на базі Mooncake. За даними Sarvam, під час обробки понад 450B токенів на день із кешу надходило 95,7% prompt-токенів DeepSeek V4.1 Flash. Використання ваг MXFP8 і спекулятивного декодування скоротило потребу Sarvam 105B з двох B200 на репліку до одного.

Усі наведені показники продуктивності отримані в тестах Sarvam. Для DeepSeek V4.1 Flash із prompt на 1K токенів компанія зафіксувала 0,51 секунди до першого токена з Мумбая. За prompt на 10K Together показала 0,71 секунди проти 0,90 секунди у Sarvam. Вступні тарифи до кінця 2026 року починаються з ₹10 за вхід і ₹25 за вихід на 1M токенів для Sarvam 105B.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини