Prime Intellect запустила платформу для открытых моделей
Prime Intellect представила Prime Inference — платформу для обслуживания передовых моделей с открытым исходным кодом. Она предлагает бессерверные конечные точки и резервируемые мощности на собственных графических процессорах компании в нескольких дата-центрах. До публичного запуска система обрабатывала почти триллион токенов в день во внутренних задачах, включая RL-роллауты, создание синтетических данных, оценки и длительно работающих агентов для программирования.
Prime Inference служит уровнем обслуживания в открытом стеке обучения Prime Intellect. Платформа совместима с OpenAI API и поддерживает автоматическое переключение трафика между дата-центрами. Сейчас используются NVIDIA Blackwell, а Vera Rubin указана как будущая поддержка. По данным Prime, конечная точка GLM-5.3 входит в число самых быстрых на OpenRouter; компания также сообщает о почти нулевой доле ошибок вызова инструментов и 100% доступности с момента запуска.
Стек объединяет NVIDIA Dynamo, vLLM, Mooncake и FlashInfer, разделяя предварительную обработку и декодирование между группами GPU. На GB200 NVL72 соотношение 1:4 позволило обслужить 66 сессий на группу предварительной обработки при скорости 101 токен в секунду на пользователя. Сжатие KV-кеша NVFP4 увеличило емкость на один декодер с 1,09 до 1,63 млн токенов. Пакетная обработка и выделенные развертывания одним нажатием находятся в дорожной карте.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.