Prime Intellect запустила платформу для відкритих моделей
Prime Intellect представила Prime Inference — платформу для обслуговування передових моделей із відкритим кодом. Вона пропонує безсерверні кінцеві точки та зарезервовані потужності на власних графічних процесорах компанії в кількох дата-центрах. До публічного запуску система внутрішньо обробляла майже трильйон токенів на день у завданнях, зокрема RL-роллаутах, генеруванні синтетичних даних, оцінюванні та тривалій роботі агентів для програмування.
Prime Inference є рівнем обслуговування відкритого стеку навчання Prime Intellect. Платформа сумісна з OpenAI API та автоматично перемикає трафік між дата-центрами. Нині підтримується NVIDIA Blackwell, а Vera Rubin зазначена як майбутня платформа. За даними Prime, кінцева точка GLM-5.3 входить до найшвидших на OpenRouter; компанія також повідомляє про майже нульовий рівень помилок виклику інструментів і 100% безвідмовної роботи від моменту запуску.
Стек поєднує NVIDIA Dynamo, vLLM, Mooncake і FlashInfer, а попередню обробку та декодування виконує на окремих групах GPU. На GB200 NVL72 співвідношення 1:4 забезпечило 66 сесій на групу попередньої обробки зі швидкістю 101 токен за секунду на користувача. Стиснення KV-кешу NVFP4 збільшило місткість одного декодера з 1,09 до 1,63 млн токенів. Пакетне виведення та спеціальні розгортання одним натисканням є в дорожній карті.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.