Nemotron 3.5 Super VL на Nvidia е отворен модел, създаден да работи без прекъсване с корпоративни AI агенти

Nvidia пусна Nemotron 3.5 Super VL — отворен мултимодален модел със 120 милиарда параметъра, създаден за корпоративни агенти. Заедно с него излизат и два компактни модела Bolt, проектирани да пренесат AI агентите на локални компютри и периферни устройства.

Nvidia създаде Nemotron 3.5 Super VL за специализирани агенти, които работят постоянно във фонов режим и обработват текст, изображения, документи и видеоклипове.

Както обяснява компанията в техническа публикация в блога, той използва архитектура Mixture-of-Experts, при която за всеки токен са активни само 12 милиарда от общо 120 милиарда параметъра. Nvidia разработи модела с Nemotron Coalition — група, включваща Mistral AI, Thinking Machines Lab, Perplexity и Black Forest Labs.

Два по-малки модела за локален хардуер излизат едновременно с него. Nemotron 3.5 Bolt 74B-A9B 24GB изпълнява задачи на агенти на локални машини, докато по-малкият Bolt E4B 4GB е насочен към бързи гласови асистенти и ще се появи по-късно този месец. И двата модела предлагат „най-висок интелект на гигабайт памет“, твърди Nvidia.

Super VL и Bolt се присъединяват към съществуващата линия Nemotron. Lightning, пуснат през август, е създаден за висока производителност, докато Ultra се справя със сложни задачи за разсъждение. Всеки вариант е оптимизиран за хардуер на Nvidia.

Nvidia твърди, че най-големият ѝ модел постига същата точност при една пета от размера

Nvidia дестилира Super VL от Nemotron 3 Ultra — най-големия си модел за разсъждение. При задачи, в които агентът следва инструкции, извиква инструменти, преминава през многоетапни бизнес процеси или анализира изображения, се очаква Super VL да постигне точността на Ultra само с около една пета от параметрите. Според Nvidia при тестове на агенти от Hermes и LangChain той всъщност постига по-висок резултат от Ultra, а също така изпреварва предшественика си Nemotron 3 Super в бенчмарковете за програмиране SWE-bench и Terminal-Bench.

На един графичен процесор Super VL осигурява до пет пъти по-висока производителност от други отворени модели с подобен размер при задачи на агенти, според Nvidia, която се позовава на класацията на Artificial Analysis. В независим тест на EXO Labs върху DGX Spark нито един друг модел не е бил едновременно по-точен и по-бърз. Това предимство в скоростта се отплаща, когато агентите трябва да обработват големи обеми от задачи в продължение на дни или седмици.

Спрямо водещите затворени модели Nvidia предлага Super VL на компании, които искат да го дообучават със собствени данни и да го изпълняват на собствените си сървъри, без да зависят от условията за ползване на даден доставчик. Според Nvidia това може да привлече застраховател, който непрекъснато проверява искове за измами, или финансова компания, която оценява кредитоспособността по собствени критерии. За персонализиране компанията предоставя своята рамка NeMo, Python конвейери и отворени набори от данни.

Компресирането и кеширането намаляват изчислителните разходи

Nvidia компресира Super VL с 4-битовия формат NVFP4. На графични процесори Blackwell моделът работи изцяло с 4-битова точност, докато по-старите карти съхраняват само теглата с 4 бита и извършват изчисленията с 16 бита. Чувствителните части на модела запазват по-висока точност. За да предотврати загуба на качество, Nvidia е обучила компресираната версия да възпроизвежда резултатите на некомпресирания оригинал.

Вграден компонент за чернови предлага няколко токена предварително, след което основният модел ги проверява с един проход напред. На DGX Spark Nvidia препоръчва вместо това собствения си метод LiLiCorr, който оценява всички токени от черновата заедно, за да осигури по-последователен резултат. Nvidia твърди, че този подход ускорява генерирането на текст до 2,3 пъти спрямо изпълнението без спекулативни чернови.

Агентите изпращат едни и същи инструкции, описания на инструменти и история на разговорите при всяка заявка, затова Super VL кешира изчисленията за тези повтарящи се части, вместо да ги изпълнява отново всеки път. Софтуерът за инференс на Nvidia Dynamo също така насочва заявките от една и съща сесия към графичния процесор, който вече съхранява кеша на тази сесия. На 16 графични процесора B200 това позволява на Super VL да обслужва осем пъти повече едновременни потребители, а времето до първия токен намалява с 85 процента.

Super VL анализира таблици, диаграми и PDF файлове без отделен зрителен модел

За зрителните способности Nvidia се е фокусирала върху материалите, с които агентите се сблъскват в ежедневната работа, включително OCR, таблици, диаграми, документи от няколко страници и видеоклипове. Super VL може да интерпретира диаграма, да я свърже с таблица на друго място в същия документ и да обобщи и двете, без да се нуждае от отделен модел за изображения.

В бенчмарка за диаграми CharXiv Super VL постига 80,8 процента, според Nvidia, докато по-старият Nemotron 3 Nano Omni е достигнал 63 процента. Когато моделът може да изпълнява и Python код, резултатът нараства до 84 процента. В класацията OCRBench v2 той е сред най-добрите отворени модели, твърди Nvidia.

Локалните агенти все още изискват скъп хардуер

Bolt 74B-A9B 24GB е опростена версия на Super VL, създадена като хибриден модел Mixture-of-Experts, при който само 9 от общо 74 милиарда параметъра са активни при всяка стъпка. За да се побере в 24 GB памет, Nvidia прилага агресивна 2-битова квантизация на теглата.

Bolt се справя с ежедневни локални задачи, при които агентът трябва да премине през няколко стъпки, да извиква инструменти или да търси в интернет. Според Nvidia потребителите могат да го накарат да пише и отстранява грешки в код или да определи кои компоненти за компютър са съвместими със системата им.

Моделът е оптимизиран за RTX Spark на Nvidia — нов чип за AI-съвместими лаптопи с Windows, както и за DGX Spark — компактна AI работна станция с до 128 GB споделена памет. Той работи и на компютри с GeForce RTX, DGX Station и работни станции RTX PRO и поддържа llama.cpp, Ollama, LM Studio и vLLM.

Дори при силна компресия 24 GB е висока летва. Само скъпият висок клас хардуер предлага толкова памет, а при настоящите цени на графичните процесори повечето потребители не могат да оправдаят разхода. Засега локалният агент е насочен към разработчици и собственици на мощни работни станции.

За по-слаби устройства Nvidia планира Bolt E4B 4GB, макар че той все още не е пуснат. Предназначен е да работи с карти GeForce RTX, модули Jetson и RTX/DGX Spark и да захранва гласови асистенти, интерактивни персонажи или интерфейси на устройства. Очаква се моделът да води естествени разговори, като използва инструменти в рамките на няколко последователни хода и следи какво се случва в текущото приложение.

Първите потребители са от финансовия сектор и киберсигурността

Десетки организации вече дообучават Super VL за собствените си нужди, твърди Nvidia, предимно в индустрии с големи обеми документи и чувствителни данни. Scale AI е адаптирала модела за агент, който обработва кредитни известия от доставчици в медийната компания Skydance, като се очаква разходите да спаднат до една четиридесета, а времето за отговор — до една пета. Ramp използва модела, за да превръща снимки на касови бележки в структурирани данни, и очаква десет пъти по-бързи отговори. EY го използва за комплексна проверка при придобивания, а Hebbia — за анализ на кредитни споразумения.

Втора вълна от потребители идва от сферата на киберсигурността. AI21 е дообучила Super VL за компанията за сигурност Alice, която го използва за анализ на заплахи и уязвимости, като според Nvidia точността се е подобрила с 40 процента. Dream използва модела за откриване на уязвимости, а CrowdStrike разработва агенти за защита на корпоративни мрежи. Salesforce планира да автоматизира работни процеси в държавната администрация, R1 извършва одит на медицински плащания, а Perplexity, Dassault Systèmes и Mercor също използват модела.

Nvidia публикува набори от данни и рецепти за обучение

Nvidia пуска теглата във версия за базово обучение, версия след обучение и 4-битова компресирана версия, заедно с наборите от данни и рецептите за обучение, както и среди за обучение с подсилване. Това прави Super VL по-отворен от много модели с отворени тегла, които обикновено споделят само теглата.

Моделът е обучен с над 25 трилиона токена по време на предварителното и продължаващото предварително обучение, твърди Nvidia, а последващото обучение и обучението с подсилване са добавили около четири милиона примера в приблизително 100 отворени среди за обучение.

В Hugging Face Nvidia публикува и няколко набора от данни, които други разработчици могат да използват за обучение или дообучаване на собствените си модели. Те обхващат начина, по който агентите използват инструменти, следват инструкции, обработват дълги текстове и разбират изображения, докато други набори са посветени на финансите, безопасността и справедливостта.

Един набор от данни е насочен към езиците, говорени в Индия. Nvidia го е създала с Индийския технологичен институт в Мадрас и неговата AI лаборатория AI4Bharat, като той съдържа около 2,83 трилиона текстови токена на 22 индийски езика.

Отворените модели продават хардуер на Nvidia

Super VL работи на настолни системи като DGX Spark, DGX Station, RTX PRO и RTX, на модули Jetson в периферни устройства, както и в центрове за данни и облака. Чрез Nvidia NIM предприятията получават модела като готов за внедряване микросървис с валидирани конфигурации и поддръжка, като актуализациите са планирани на всеки две седмици. Теглата са налични в Hugging Face за Nemotron 3.5 Super VL 120B-A12B и Nemotron 3.5 Bolt 74B-A9B 24GB.

Nvidia пуска моделите отворено, но ги настройва за собствените си продукти — от сървъри в центрове за данни до работни станции. Всеки, който иска да извлече максимума от Nemotron, в крайна сметка купува хардуер на Nvidia.

Стратегията зад отворените модели на Nvidia е продиктувана от собствения ѝ интерес. Колкото повече компании използват собствени отворени модели, толкова по-голямо е търсенето на изчислителен хардуер, а отворените модели вероятно ще останат оптимизирани за Nvidia в обозримо бъдеще. Междувременно компании като Meta, Google, Anthropic и OpenAI разработват собствени чипове и оптимизират моделите си за тях. За да ускори разпространението на отворените AI модели, Nvidia наскоро инвестира 12,9 милиарда долара в Hugging Face — една от най-важните платформи за разработване и споделяне на такива модели.

AI новини без сензации – подбрани от хора

Абонирайте се за THE DECODER, за да четете без реклами, да получавате седмичен AI бюлетин, нашия ексклузивен годишен доклад за водещите модели „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.