Sarvam отвори за всички платформа за инференс от Индия
Sarvam направи Sarvam Token Factory достъпна за всички. Управляваната платформа за инференс обслужва собствени и open-weight модели от GPU клъстери NVIDIA B200 в Индия чрез един OpenAI-съвместим API. Осемте модела, посочени при старта, са Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro и Gemma 4 31B. За корпоративни клиенти се предлага и локално внедряване.
Системата включва маршрутизатор, който отчита кеша, отделни GPU пулове за обработка на входа и генериране, както и кеш в GPU памет и споделено G3 хранилище, изградено върху Mooncake. По данни на Sarvam 95,7% от prompt токените при DeepSeek V4.1 Flash са взети от кеша при над 450B обслужени токена дневно. MXFP8 теглата и спекулативното декодиране са намалили нуждата на Sarvam 105B от два на един B200 за реплика.
Всички показатели за производителност са измерени от Sarvam. При DeepSeek V4.1 Flash и 1K prompt компанията отчита 0,51 секунди до първия токен от Мумбай. При 10K prompt Together отчита 0,71 секунди спрямо 0,90 секунди за Sarvam. Въвеждащите цени до края на 2026 г. започват от ₹10 за вход и ₹25 за изход на 1M токена при Sarvam 105B.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.