Prime Intellect представи платформа за обслужване на отворени модели
Prime Intellect представи Prime Inference — платформа за обслужване на водещи модели с отворен код чрез безсървърни крайни точки или резервиран капацитет върху собствени графични процесори в няколко центъра за данни. Преди публичното си пускане системата е обработвала близо трилион токена дневно при вътрешни задачи, включително RL rollout-и, генериране на синтетични данни, оценки и продължително работещи кодиращи агенти.
Prime Inference е обслужващият слой на отворения стек за обучение на Prime Intellect. Той е съвместим с OpenAI API и използва автоматично прехвърляне на трафика между центрове за данни при проблеми. В момента се поддържа NVIDIA Blackwell, а Vera Rubin е посочена като предстояща. Prime съобщава, че крайната точка GLM-5.3 е сред най-бързите в OpenRouter, както и за почти нулев процент грешки при извикване на инструменти и 100% непрекъсваемост от старта.
Стекът съчетава NVIDIA Dynamo, vLLM, Mooncake и FlashInfer, като предварителното обработване и декодирането се изпълняват в отделни групи графични процесори. При GB200 NVL72 съотношение 1:4 е обслужило 66 сесии на група за предварително обработване при 101 токена в секунда на потребител. NVFP4 компресията на KV кеша е увеличила капацитета на декодер от 1,09 милиона на 1,63 милиона кеширани токена. Пакетната обработка и внедряванията с едно кликване са в пътната карта.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.