Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← До новин

Prime Intellect запустила платформу для відкритих моделей

Prime Intellect представила Prime Inference — платформу для обслуговування передових моделей із відкритим кодом. Вона пропонує безсерверні кінцеві точки та зарезервовані потужності на власних графічних процесорах компанії в кількох дата-центрах. До публічного запуску система внутрішньо обробляла майже трильйон токенів на день у завданнях, зокрема RL-роллаутах, генеруванні синтетичних даних, оцінюванні та тривалій роботі агентів для програмування.

Prime Inference є рівнем обслуговування відкритого стеку навчання Prime Intellect. Платформа сумісна з OpenAI API та автоматично перемикає трафік між дата-центрами. Нині підтримується NVIDIA Blackwell, а Vera Rubin зазначена як майбутня платформа. За даними Prime, кінцева точка GLM-5.3 входить до найшвидших на OpenRouter; компанія також повідомляє про майже нульовий рівень помилок виклику інструментів і 100% безвідмовної роботи від моменту запуску.

Стек поєднує NVIDIA Dynamo, vLLM, Mooncake і FlashInfer, а попередню обробку та декодування виконує на окремих групах GPU. На GB200 NVL72 співвідношення 1:4 забезпечило 66 сесій на групу попередньої обробки зі швидкістю 101 токен за секунду на користувача. Стиснення KV-кешу NVFP4 збільшило місткість одного декодера з 1,09 до 1,63 млн токенів. Пакетне виведення та спеціальні розгортання одним натисканням є в дорожній карті.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини