Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← К новостям

Prime Intellect запустила платформу для открытых моделей

Prime Intellect представила Prime Inference — платформу для обслуживания передовых моделей с открытым исходным кодом. Она предлагает бессерверные конечные точки и резервируемые мощности на собственных графических процессорах компании в нескольких дата-центрах. До публичного запуска система обрабатывала почти триллион токенов в день во внутренних задачах, включая RL-роллауты, создание синтетических данных, оценки и длительно работающих агентов для программирования.

Prime Inference служит уровнем обслуживания в открытом стеке обучения Prime Intellect. Платформа совместима с OpenAI API и поддерживает автоматическое переключение трафика между дата-центрами. Сейчас используются NVIDIA Blackwell, а Vera Rubin указана как будущая поддержка. По данным Prime, конечная точка GLM-5.3 входит в число самых быстрых на OpenRouter; компания также сообщает о почти нулевой доле ошибок вызова инструментов и 100% доступности с момента запуска.

Стек объединяет NVIDIA Dynamo, vLLM, Mooncake и FlashInfer, разделяя предварительную обработку и декодирование между группами GPU. На GB200 NVL72 соотношение 1:4 позволило обслужить 66 сессий на группу предварительной обработки при скорости 101 токен в секунду на пользователя. Сжатие KV-кеша NVFP4 увеличило емкость на один декодер с 1,09 до 1,63 млн токенов. Пакетная обработка и выделенные развертывания одним нажатием находятся в дорожной карте.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости