Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← Към новините

Prime Intellect представи платформа за обслужване на отворени модели

Prime Intellect представи Prime Inference — платформа за обслужване на водещи модели с отворен код чрез безсървърни крайни точки или резервиран капацитет върху собствени графични процесори в няколко центъра за данни. Преди публичното си пускане системата е обработвала близо трилион токена дневно при вътрешни задачи, включително RL rollout-и, генериране на синтетични данни, оценки и продължително работещи кодиращи агенти.

Prime Inference е обслужващият слой на отворения стек за обучение на Prime Intellect. Той е съвместим с OpenAI API и използва автоматично прехвърляне на трафика между центрове за данни при проблеми. В момента се поддържа NVIDIA Blackwell, а Vera Rubin е посочена като предстояща. Prime съобщава, че крайната точка GLM-5.3 е сред най-бързите в OpenRouter, както и за почти нулев процент грешки при извикване на инструменти и 100% непрекъсваемост от старта.

Стекът съчетава NVIDIA Dynamo, vLLM, Mooncake и FlashInfer, като предварителното обработване и декодирането се изпълняват в отделни групи графични процесори. При GB200 NVL72 съотношение 1:4 е обслужило 66 сесии на група за предварително обработване при 101 токена в секунда на потребител. NVFP4 компресията на KV кеша е увеличила капацитета на декодер от 1,09 милиона на 1,63 милиона кеширани токена. Пакетната обработка и внедряванията с едно кликване са в пътната карта.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини