NVIDIA пусна Nemotron 3.5 Super VL, отворен мултимодален агентен модел със 120 млрд. параметъра

NVIDIA току-що пусна Nemotron 3.5 Super VL, отворен визионно-езиков модел, създаден за постоянно активни корпоративни агенти. Nemotron 3.5 Super VL е модел от NVIDIA с архитектура mixture-of-experts и 120 млрд. параметъра, който активира 12 млрд. параметъра на токен. Той чете текст, изображения, документи и видео, след което разсъждава, извиква инструменти и пише код в рамките на един модел. За разработчиците 1 отворен чекпойнт заменя отделен текстов модел и отделен визуален модел. NVIDIA пусна и 2 edge модела — Nemotron 3.5 Bolt 74B-A9B и Bolt E4B.

Накратко

Размер: Общо 120 млрд. параметъра, 12 млрд. активни (MoE). Контекст до 1 млн. токена.
Работи на: 1x DGX Spark, 1x H200, 2x H100 или 1x GB200 с чекпойнта NVFP4. Публикуван е и чекпойнт BF16.
Производителност: Силно разсъждение, агентно програмиране и работа с документи. NVIDIA твърди до 5 пъти по-висока пропускателна способност на един GPU в сравнение с отворени конкурентни модели.
Най-добър резултат: 89.90 на GPQA-Diamond (NVFP4).
Най-слаб резултат: 17.78 на tau3-bench banking (NVFP4).

Какво представлява Nemotron 3.5 Super VL?

Това е отворен мултимодален агентен модел. Теглата се разпространяват съгласно лиценза OpenMDW-1.1. NVIDIA публикува и отворени набори от данни, рецепти за обучение и RL среди в NeMo Gym.

Картата на модела посочва входни данни под формата на текст, изображения и видео, с текстов изход. Видеото е ограничено до MP4 клипове с продължителност до 2 минути. Разсъждението може да се включва или изключва чрез шаблона за чат.

Как работи архитектурата?

Основата редува слоеве Mamba-2, mixture-of-experts и attention. Всеки MoE слой съдържа 512 маршрутизирани експерта. Визуален енкодер C-RADIO и конектор подават изображения, страници на документи и видео кадри към езиковата основа.

Бързината се дължи на четири техники:

Предсказване на множество токени: вграден drafter предлага няколко токена, които се проверяват с 1 forward pass.
LiLiCorr: speculative drafter за DGX Spark, който осигурява до 2,3 пъти по-бързо генериране на токени.
NVFP4 с дистилация, съобразена с квантизацията: 4-битови тегла и активации на Blackwell, както и 4-битови тегла с 16-битови активации на други платформи.
Повторно използване на контекста: кеширането на префикса запазва както attention кешовете, така и състоянията на Mamba между отделните ходове на агента.

Моделът е дистилиран от Nemotron 3 Ultra. Екипът на NVIDIA посочва, че е обучен с около 26 трилиона токена. Дообучаването е използвало приблизително 3,8 милиона примера плюс RL в десетки среди. Продължаващото предварително обучение е добавило 10 млрд. индийски токена.

Как се представя на бенчмарковете?

Всички резултати по-долу са предоставени от NVIDIA и са от чекпойнта NVFP4 в картата на модела.

Област	Бенчмарк	Резултат
Разсъждение	GPQA-Diamond	89.90
Програмиране	SWE-bench Verified	71.07
Програмиране	Terminal-Bench 2.1	60.80
Уеб агент	BrowseComp	77.5
Следване на инструкции	IFBench	71.50
Диаграми	CharXiv reasoning	79.88
Документи	MMLongBench-Doc	62.82
Използване на компютър	OSWorld-Verified	52.3
Агент с дълъг хоризонт	tau3-bench banking	17.78

При оценките с агентни harness-и Super VL превъзхожда Nemotron 3 Ultra. Той постига 63.44% на Hermes Bench спрямо 56.33%. При оценките на LangChain резултатът е 87.05% спрямо 84.3%. Ultra разполага с около 4,6 пъти повече общи параметри.

Екипът на NVIDIA съобщава за над 600 изходни токена в секунда при агентни задачи в Artificial Analysis чрез endpoint на Baseten. Графиката показва разлика в скоростта от 5 пъти спрямо Inkling Small.

</div> <div class="stage" data-i="1">C-RADIO<small>визуален енкодер</small></div><div class="arr"></div> <div class="stage" data-i="2">Хибриден MoE<small>Mamba-2 + attention</small></div><div class="arr"></div> <div class="stage" data-i="3">MTP декодиране<small>+ LiLiCorr</small></div><div class="arr"></div> <div class="stage" data-i="4">Изход<small>текст, извиквания на инструменти</small></div> </div> <div class="detail" id="mtp-detail"></div> <div class="ctrl"> <button class="btn" id="mtp-prev">

Назад</button> <button class="btn pri" id="mtp-next">Напред </button> <button class="btn" id="mtp-play"> Автоматично възпроизвеждане</button> <span class="step" id="mtp-step">Стъпка 1 от 5</span> </div> </div> <div class="panel" id="p-bm"> <div class="seg"><button class="on" data-c="nv">NVFP4</button><button data-c="bf">BF16</button></div> <div id="mtp-bars"></div> <p class="note">Резултати, предоставени от NVIDIA, от картата на модела. Оранжевата лента показва най-слабия резултат.</p> </div> <div class="panel" id="p-cp"> <div class="cmp" id="mtp-cmp"></div> <p class="legend">Резултати, предоставени от самите компании. Super VL използва NVFP4. Harness-ите се различават: SWE-bench на Inkling-Small използва harness само с bash.</p> </div> <div class="panel" id="p-dp"> <div class="hw" id="mtp-hw"> <button class="chip on" data-h="0">1x DGX Spark<small>vLLM · LiLiCorr</small></button> <button class="chip" data-h="1">1x H200<small>vLLM · MTP 3</small></button> <button class="chip" data-h="2">2x H100<small>vLLM · MTP 3</small></button> <button class="chip" data-h="3">1x GB200<small>vLLM · MTP 5</small></button> </div> <div class="detail" id="mtp-hwd"></div> <pre id="mtp-code"></pre> <p class="note">Команди, съкратени от картата на модела в Hugging Face. За продукционна употреба използвайте пълния набор от флагове там.</p> </div> <div class="ft"><span>Източници: блогът на NVIDIA, техническият блог на NVIDIA, картите на моделите в Hugging Face</span><span class="br">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-nsvl'); function $(s){return R.querySelector(s)} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} function resize(){try{parent.postMessage({mtpEmbed:'nsvl',h:R.offsetHeight+40},'*')}catch(e){}} /* tabs */ $$('.tab').forEach(function(t){t.addEventListener('click',function(){ $$('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); $$('.panel').forEach(function(p){p.classList.remove('on')}); var k=t.getAttribute('data-t');$('#p-'+k).classList.add('on'); if(k==='bm')drawBars(cur);if(k==='cp')drawCmp();if(k==='ov')count(); setTimeout(resize,60); })}); /* counters */ function count(){$$('.stat b').forEach(function(b){var n=+b.getAttribute('data-n'),s=b.getAttribute('data-s')||'',t0=null; function f(ts){if(!t0)t0=ts;var p=Math.min((ts-t0)/900,1),e=1-Math.pow(1-p,3);b.textContent=Math.round(n*e)+s;if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)})} count(); /* MoE cells */ var cells=$('#mtp-cells'),N=120;for(var i=0;i<N;i++){var c=document.createElement('div');c.className='cell';cells.appendChild(c)} var cs=$$('.cell'),tk=1; function route(){cs.forEach(function(c){c.classList.remove('act')});var used={};for(var k=0;k<12;k++){var j;do{j=Math.floor(Math.random()*N)}while(used[j]);used[j]=1;cs[j].classList.add('act')}$('#mtp-tok').textContent='токен #'+(tk++)+' · 12 от 120 активни клетки'} route();setInterval(route,1100); /* pipeline */ var D=[ '<b>Входове.</b> Текст, RGB изображения (jpeg, png) и MP4 видео с продължителност до 2 минути. Документите могат да се подават като изображения на страници с текст. Всичко споделя контекстен прозорец с размер до 1 млн. токена.', '<b>Визуален енкодер C-RADIO + конектор.</b> Преобразува изображения, страници на документи и видео кадри в представяния, които езиковата основа може да обработва. След квантизацията тези компоненти остават в BF16.', '<b>Хибридна MoE основа.</b> Редува слоеве Mamba-2, MoE и attention. 512 маршрутизирани експерта на MoE слой, като 12 млрд. от общо 120 млрд. параметъра са активни за всеки токен. Дистилирана е от Nemotron 3 Ultra.', '<b>Бързо декодиране.</b> Вграденото предсказване на множество токени подготвя няколко токена за проверка с 1 проход. При DGX Spark drafter-ът LiLiCorr осигурява до 2,3 пъти по-бързо генериране на токени.', '<b>Изход.</b> Текстови отговори, разсъждение (включва се с enable_thinking) и извиквания на инструменти. NVIDIA съобщава за над 600 изходни токена в секунда при агентни задачи в Artificial Analysis чрез Baseten.']; var si=0,timer=null,st=$$('.stage'); function show(i){si=(i+5)%5;st.forEach(function(s,k){s.classList.toggle('on',k===si)});$('#mtp-detail').innerHTML=D[si];$('#mtp-step').textContent='Стъпка '+(si+1)+' от 5';setTimeout(resize,30)} st.forEach(function(s){s.addEventListener('click',function(){show(+s.getAttribute('data-i'))})}); $('#mtp-next').addEventListener('click',function(){show(si+1)}); $('#mtp-prev').addEventListener('click',function(){show(si-1)}); $('#mtp-play').addEventListener('click',function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent=' Автоматично възпроизвеждане'}else{timer=setInterval(function(){show(si+1)},2200);b.textContent='❚❚ Пауза'}}); show(0); /* benchmarks */ var B=[['GPQA-Diamond',89.90,89.52],['CharXiv reasoning',79.88,80.82],['BrowseComp',77.5,78],['SWE-bench Verified',71.07,71.10],['IFBench',71.50,70.86],['MMLongBench-Doc',62.82,62.82],['Terminal-Bench 2.1',60.80,66.70],['OSWorld-Verified',52.3,51.14],['tau3-bench banking',17.78,18.88]]; var cur='nv'; function drawBars(c){cur=c;var h='';B.forEach(function(r,i){var v=c==='nv'?r[1]:r[2];h+='<div class="bar"><span class="nm">'+r[0]+'</span><div class="track"><div class="fill'+(i===B.length-1?' low':'')+'" data-w="'+v+'"></div></div><span class="val">'+v.toFixed(2)+'</span></div>'}); $('#mtp-bars').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-bars .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} $$('.seg button').forEach(function(b){b.addEventListener('click',function(){$$('.seg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(b.getAttribute('data-c'))})}); /* compare */ var C=[['GPQA Diamond','89.90','86.6','89.5'],['SWE-bench Verified','71.07','72.0','80.2'],['IFBench','71.50','76.1','82.2'],['CharXiv reasoning','79.88','77.2','77.4'],['BrowseComp','77.5','63.8','77.4']]; function drawCmp(){var h='';C.forEach(function(r){h+='<div class="row"><div class="rt">'+r[0]+'</div>'+ '<div class="b me"><span class="nm">Super VL</span><div class="track"><div class="fill" data-w="'+r[1]+'"></div></div><span class="val">'+r[1]+'</span></div>'+ '<div class="b"><span class="nm">Qwen3.5-122B-A10B</span><div class="track"><div class="fill q" data-w="'+r[2]+'"></div></div><span class="val">'+r[2]+'</span></div>'+ '<div class="b"><span class="nm">Inkling-Small</span><div class="track"><div class="fill i" data-w="'+r[3]+'"></div></div><span class="val">'+r[3]+'</span></div></div>'}); $('#mtp-cmp').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-cmp .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} /* deploy */ var H=[ ['<b>1x DGX Spark (GB10).</b> Текст и изображения, контекст от 1 млн. токена във vLLM. NVIDIA препоръчва drafter-а LiLiCorr за всички внедрявания на Spark.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 1 --trust-remote-code \\\n --speculative_config.model nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr \\\n --speculative_config.num_speculative_tokens 7 \\\n --speculative_config.method dflash \\\n --reasoning-parser nemotron_v3'], ['<b>1x H200.</b> Текст, изображения и видео, контекст от 1 млн. токена, MTP с 3 draft токена. Същата команда като при 2x H100 с tensor parallel 1.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 1 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>2x H100.</b> Текст, изображения и видео, контекст от 1 млн. токена, MTP с 3 draft токена. Работи във W4A16 на GPU, които не са Blackwell.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 2 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>1x GB200.</b> Текст, изображения и видео, контекст от 1 млн. токена, MTP с 5 draft токена. Пълно W4A4 NVFP4 на Blackwell. Съществуват и рецепти за SGLang и TensorRT-LLM.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 512 --trust-remote-code \\\n --speculative_config.method mtp \\\n --speculative_config.num_speculative_tokens 5 \\\n --reasoning-parser nemotron_v3']]; function hw(i){$$('.chip').forEach(function(c,k){c.classList.toggle('on',k===i)});$('#mtp-hwd').innerHTML=H[i][0];$('#mtp-code').textContent=H[i][1];setTimeout(resize,30)} $$('.chip').forEach(function(c){c.addEventListener('click',function(){hw(+c.getAttribute('data-h'))})});hw(0); window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,300); })(); </script> </body> </html> ">

Как се сравнява с подобни отворени модели?

Характеристика	Nemotron 3.5 Super VL	Qwen3.5-122B-A10B	Inkling-Small	Nemotron 3 Ultra
Разработчик	NVIDIA	Alibaba Qwen	Thinking Machines Lab	NVIDIA
Общо / активни параметри	120B / 12B	122B / 10B	276B / 12B	550B / 55B
Контекст	До 1 млн.	262 144 нативно, разширяем до 1 010 000	Не е посочен в картата на модела	Оценен при 1 млн. (Ruler @1M)
Входове	Текст, изображения, видео	Текст, изображения, видео	Текст, изображения, аудио	Не е посочено
Лиценз	OpenMDW-1.1	Apache 2.0	Apache 2.0	OpenMDW-1.1
Референтен хардуер	1x DGX Spark, 1x H200, 2x H100 или 1x GB200	Пример за обслужване с tensor parallel на 8 GPU	Не е посочен	Не е посочен
GPQA Diamond	89.90	86.6	89.5	Не е посочено
SWE-bench Verified	71.07	72.0	80.2 (harness само с bash)	65 до 70.4 (при 5 harness-а)
IFBench	71.50	76.1	82.2	82
CharXiv reasoning	79.88	77.2	77.4	Не е посочено
BrowseComp	77.5	63.8	77.4 (с управление на контекста)	Не е посочено
Terminal-Bench	60.80 (v2.1)	49.4 (v2)	64.7 (v2.1, най-добрият harness)	54 (v2.0)

Резултатите са предоставени от самите компании. Harness-ите и версиите на бенчмарковете се различават, затова разликите от няколко пункта трябва да се разглеждат предпазливо.

Как разработчиците могат да го внедрят?

Super VL е достъпен в Hugging Face, OpenRouter, ModelScope и като NVIDIA NIM. Поддържаните среди за изпълнение са vLLM, SGLang и TensorRT-LLM върху Blackwell и Hopper. Локалните варианти включват llama.cpp и Unsloth.

За продукционна употреба рецептите на Dynamo добавят маршрутизиране, съобразено с KV кеша. При 16 B200 GPU и 50 токена в секунда на потребител NVIDIA отчита 8 пъти повече обслужени потребители. Латентността до първия токен намалява с 85%.

Персонализирането се извършва чрез NeMo AutoModel за SFT и LoRA, както и чрез NeMo RL за обучение с подсилване. NVIDIA посочва следните ранни резултати:

Scale AI при обработката на кредитни документи на доставчици за Skydance: 40 пъти по-ниска цена за инференс и 5 пъти по-ниска латентност.
Ramp при извличане от касови бележки към JSON: очакват се до 50% по-висока пропускателна способност и 10 пъти по-ниска латентност.
AI21 за разузнаване на заплахи Alice: 40% по-висока точност.

Какво представляват моделите Nemotron 3.5 Bolt?

Nemotron 3.5 Bolt 74B-A9B е предназначен за локални агенти. В бележките към представянето NVIDIA го описва като дистилиран от Super VL. Нативната 2-битова квантизация позволява моделът да се побере в 24 GB памет на системи с RTX и DGX Spark. NVIDIA твърди, че заема първо място сред отворените модели в своя клас в PinchBench. Заема второ място сред отворените модели в BrowseComp. Вече е достъпен в Hugging Face с поддръжка за llama.cpp, Ollama, LM Studio, Unsloth и vLLM.

Bolt E4B с размер 4 GB ще бъде пуснат на 23 октомври. Той е предназначен за гласови асистенти и вградени агенти върху GeForce RTX, Jetson и RTX или DGX Spark.

Основни изводи

MoE модел с 120 млрд. параметъра, 12 млрд. активни параметъра, контекст от 1 млн. токена и отворени тегла съгласно OpenMDW-1.1.
1 модел обработва текст, изображения, документи, видео, инструменти и код.
Чекпойнтът NVFP4 работи на един DGX Spark, H200 или GB200.
89.90 на GPQA-Diamond, но само 17.78 на tau3-bench banking.
Bolt 74B-A9B предоставя локален агентен модел за RTX компютри с 24 GB.

Вижте техническия доклад, картата на модела и ръководството за употреба. Всички заслуги принадлежат на изследователя на този проект. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.