NVIDIA пусна Nemotron 3.5 Bolt E4B 4GB: малък езиков модел с отворен код за локални гласови агенти, игрови персонажи и роботи

NVIDIA току-що пусна Nemotron 3.5 Bolt E4B 4GB, отворен малък езиков модел за бързи разговорни агенти. Той е предназначен за гласови асистенти, NPC персонажи в игри и интерфейси за роботи, работещи локално на хардуер RTX, Jetson и Spark. Моделът е дообучен от Gemma 4 E4B на Google, като е използвано единствено обучение с подсилване. За разработчиците това означава агентно поведение с около 4 GB VRAM. Така остава място за модели за реч и компютърно зрение.

Накратко

Размер: 8B общо параметри, 4B ефективни, контекст от 64K.
Работи на: GeForce RTX, Jetson, RTX Spark и DGX Spark. Версията Q4_K_M е използвала между 3,1 и 4,3 GB VRAM на RTX според тестовете на NVIDIA.
Производителност: Най-висок резултат в 15 от 21 бенчмарка спрямо Gemma 4 E4B, Qwen3.5-4B и Nemotron 3 Nano 4B (измерено от NVIDIA).
Най-добър резултат: IHEval 84,8 спрямо 67,0 за Gemma 4 E4B и 60,6 за Qwen3.5-4B.
Най-слаб резултат: Tau2-Bench 55,1, с около 20 точки зад Qwen3.5-4B с 75,1.

Какво представлява Nemotron 3.5 Bolt E4B?

Nemotron 3.5 Bolt E4B е малък езиков модел от NVIDIA, който захранва локални разговорни агенти. Той съчетава естествен диалог с извикване на инструменти в множество ходове. NVIDIA посочва 3 целеви работни натоварвания: асистенти за устройства и гласови асистенти, интерактивни персонажи и вградени или индустриални агенти.

Изследователският доклад показва робот Reachy Mini, работещ на Jetson Orin Nano 8GB. В демонстрацията Cosmos 3 Edge обработва зрението, докато Bolt обработва гласовите отговори и извикванията на инструменти. Екипът на NVIDIA нарича Bolt и малкия модел от трето поколение за игровите персонажи NVIDIA ACE.

Основни характеристики от публикацията за старта:

Използване на инструменти в множество ходове, с насоки за асинхронни извиквания на инструменти.
Флаг conversational_mode за кратки отговори, готови за озвучаване.
Конфигурируемо разсъждение плюс бюджет за мислене по време на изпълнение за ограничаване на латентността.
Контекст от 64K за история, дефиниции на инструменти и състояние на приложението.

Как е обучен Bolt E4B?

NVIDIA напълно пропуска контролираното дообучаване. Според изследователския доклад SFT подобрява извикването на инструменти, но влошава разговорното качество и многословността на Gemma. Вместо това изследователският екип използва RLVR и RLHF чрез NeMo-RL и NeMo-Gym.

Всяка тренировъчна извадка е изпълнявана както в режим с разсъждение, така и в режим без разсъждение. Всеки пакет е запазвал съотношение 2:1 между извадките без разсъждение и тези с разсъждение. Наказанията за дължина в средата GenRM са предотвратявали увеличаването на отговорите по време на обучението. Наборите от данни и пълната рецепта са публични.

За внедряване NVIDIA квантува контролно-пропускателната точка BF16 до Q4_K_M с калибриране чрез матрица на важността. При калибрирането са използвани около 1 млн. токена от RL развивки. Изданието включва и драфтър DFlash за спекулативно декодиране. На RTX 5070 Bolt с DFlash достига 272,6 токена/сек. Gemma 4 E4B с драфтъра си MTP достига 225,9 токена/сек., така че Bolt е 1,21 пъти по-бърз.

Как се представя Nemotron 3.5 Bolt E4B в бенчмарковете?

NVIDIA е групирала 21 бенчмарка в 5 области на възможности. Всички резултати тук са BF16, измерени от NVIDIA в нейния собствен набор NeMo-Gym. Bolt води в 15 от 21 реда в режим на разсъждение.

NVIDIA също отчита средно приблизително 40% по-високи резултати от Nemotron 3 Nano 4B. Компанията твърди, че при сравнения с активирано разсъждение са необходими до 80% по-малко изходни токени. Отделно Scale Labs класира Bolt на първо място сред малките модели в MultiChallenge с 56,03%, според публикация в X.

</div> <div class="node">RLVR + RLHF</div><div class="arr"></div> <div class="node">Контрол на многословността</div><div class="arr"></div> <div class="node">Q4_K_M imatrix</div><div class="arr"></div> <div class="node">Драфтър DFlash</div> </div> <div class="stepbox"> <div class="stepn" id="mtp-sn">Стъпка 1 от 5</div> <div class="stept" id="mtp-st"></div> <p class="stepd" id="mtp-sd"></p> </div> <div class="ctl"> <button class="btn ghost" id="mtp-prev">Назад</button> <div class="dots"><span class="dot on"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span></div> <button class="btn" id="mtp-next">Напред</button> </div> </div> <div class="pane" data-p="2"> <div class="chips" id="mtp-chips"></div> <div id="mtp-bars"></div> <div class="note">Резултати BF16, измерени от NVIDIA в нейния набор NeMo-Gym. Резултатите, посочени от доставчика, може да се различават. Зелената стойност показва най-добрия резултат във всеки ред.</div> </div> <div class="pane" data-p="3"> <div class="devs" id="mtp-devs"></div> <div class="meters"> <div class="meter"><div class="mv" id="mtp-vram">0</div><div class="mu">VRAM (GB)</div><div class="mbar"><div class="mfill" id="mtp-vb"></div></div></div> <div class="meter"><div class="mv" id="mtp-ttft">0</div><div class="mu">Време до първия токен (ms)</div><div class="mbar"><div class="mfill" id="mtp-tb"></div></div></div> <div class="meter"><div class="mv" id="mtp-tps">0</div><div class="mu">Генериране (токена/сек.)</div><div class="mbar"><div class="mfill" id="mtp-pb"></div></div></div> </div> <div class="verdict" id="mtp-verdict"></div> <div class="note">Q4_K_M, llama.cpp (CUDA), размер на пакета 1, 3K входни / 50 изходни токена, без кеширан контекст. Източник: NVIDIA.</div> </div> <div class="pane" data-p="4"> <div class="two"> <div class="col w"><h4>Къде се представя най-добре</h4><ul> <li>IHEval 84,8 спрямо 67,0 (Gemma 4 E4B) и 60,6 (Qwen3.5-4B)</li> <li>MultiChallenge 53,1, най-висок резултат сред 4-те модела</li> <li>RelyToolBench 63,2 спрямо 43,3 за Qwen3.5-4B</li> <li>1,21 пъти по-висока производителност от MTP на Gemma с DFlash на RTX 5070</li> </ul></div> <div class="col l"><h4>Къде изостава</h4><ul> <li>Tau2-Bench 55,1 спрямо 75,1 за Qwen3.5-4B</li> <li>RULER 64K 87,0 спрямо 95,1 за Qwen3.5-4B</li> <li>MMMU-Pro Vision 42,0 спрямо 47,6 за Gemma 4 E4B</li> <li>5 785 ms до първия токен на Jetson Orin Nano при 3K вход</li> </ul></div> </div> </div> <div class="ft"><span>Източници: <a href="https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/" target="_blank" rel="noopener">блогът на NVIDIA</a> · <a href="https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf" target="_blank" rel="noopener">технически доклад</a> · <a href="https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16" target="_blank" rel="noopener">карта на модела</a></span><span class="brand">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-bolt-e4b'); function post(){try{var h=R.offsetHeight+40;parent.postMessage({mtpEmbed:'bolt-e4b',height:h},'*');}catch(e){}} var tabs=R.querySelectorAll('.tab'),panes=R.querySelectorAll('.pane'); tabs.forEach(function(t){t.addEventListener('click',function(){var i=+t.dataset.t;tabs.forEach(function(x){x.classList.toggle('on',x===t)});panes.forEach(function(p){p.classList.toggle('on',+p.dataset.p===i)});if(i===2)drawBars();if(i===3)showDev(curDev);setTimeout(post,60);});}); R.querySelectorAll('.rv').forEach(function(b){b.addEventListener('click',function(){b.classList.toggle('open');setTimeout(post,380);});}); var steps=[ ['Начало с Gemma 4 E4B','Bolt започва като Google Gemma-4-E4B-it: общо 8B параметри, 4B ефективни. NVIDIA запазва основата и променя поведението.'], ['Дообучаване само с RL','RLVR и RLHF се изпълняват в NeMo-RL и NeMo-Gym. Средите обхващат извикване на инструменти, следване на инструкции, йерархия на инструкциите и структурирани изходи. SFT е премахнато, защото е влошавало разговорното качество.'], ['Обучение в двата режима, контрол на дължината','Всяка извадка се изпълнява с включено и изключено разсъждение, в съотношение 2:1 между режимите без разсъждение и с разсъждение. Относителните за групата наказания за дължина поддържат отговорите кратки. NVIDIA отчита до 80% по-малко изходни токени спрямо конкурентите.'], ['Квантуване до Q4_K_M','Контролно-пропускателната точка BF16 се квантува с llama.cpp чрез калибриране с матрица на важността върху около 1 млн. токена от RL развивки. Тази версия е предназначена за обем VRAM от около 4 GB.'], ['Ускоряване с DFlash','Паралелен драфтър предлага 7 токена на един проход; Bolt ги проверява. На RTX 5070 той достига 272,6 токена/сек. спрямо 225,9 за Gemma с MTP — увеличение от 1,21 пъти.']]; var si=0,nodes=R.querySelectorAll('.node'),arrs=R.querySelectorAll('.arr'),dots=R.querySelectorAll('.dot'); function step(){document.getElementById('mtp-sn').textContent='Стъпка '+(si+1)+' от 5';document.getElementById('mtp-st').textContent=steps[si][0];document.getElementById('mtp-sd').textContent=steps[si][1]; nodes.forEach(function(n,i){n.classList.toggle('on',i<=si)});arrs.forEach(function(a,i){a.classList.toggle('on',i<si)});dots.forEach(function(d,i){d.classList.toggle('on',i===si)}); document.getElementById('mtp-prev').disabled=si===0;document.getElementById('mtp-next').textContent=si===4?'Рестартиране':'Напред';setTimeout(post,60);} document.getElementById('mtp-prev').addEventListener('click',function(){if(si>0){si--;step();}}); document.getElementById('mtp-next').addEventListener('click',function(){si=si===4?0:si+1;step();}); step(); var M=['Bolt E4B','Nemotron 3 Nano 4B','Qwen3.5-4B','Gemma 4 E4B']; var B={'Разговор':[['MultiChallenge','последователност между ходовете',[53.1,35.3,51.8,42.1]],['RoleMRC','придържане към ролята и идентичността',[80.6,47.0,65.8,74.6]],['EQ-Bench v3','емоционална интелигентност',[39.4,19.3,32.9,41.1]]], 'Използване на инструменти':[['BFCL-v3','правилни инструменти и аргументи',[68.5,61.1,70.9,66.4]],['Tau2-Bench','клиентски задачи в множество ходове',[55.1,29.2,75.1,38.5]],['When2Call-MT','обаждане, уточняване или въздържане',[63.4,27.7,37.8,62.9]]], 'Инструкции':[['IHEval','йерархия на инструкциите',[84.8,51.3,60.6,67.0]],['IFBench','прецизни ограничения за изхода',[63.8,60.1,58.9,42.8]],['StructEval-T','валидни структурирани изходи',[80.4,63.5,76.0,79.3]]], 'Контекст':[['RULER 64K','извличане и разсъждение',[87.0,91.5,95.1,86.5]],['LongBench v2 (48K)','дълги подкани',[50.5,31.4,59.9,49.3]],['LongMemEval','припомняне в рамките на разговори',[72.1,25.2,66.8,70.9]]], 'Обосновка':[['GaRAGe','факти от предоставени източници',[42.6,25.2,24.7,34.7]],['RAGTruth','избягване на неподкрепени твърдения',[77.6,71.4,75.6,77.0]],['RelyToolBench','обосновка чрез инструменти',[63.2,41.2,43.3,61.6]]]}; var cat='Разговор',chips=document.getElementById('mtp-chips'); Object.keys(B).forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cat?' on':'');c.textContent=k;c.addEventListener('click',function(){cat=k;chips.querySelectorAll('.chip').forEach(function(x){x.classList.toggle('on',x===c)});drawBars();});chips.appendChild(c);}); function drawBars(){var box=document.getElementById('mtp-bars');box.innerHTML='';B[cat].forEach(function(b){var mx=Math.max.apply(null,b[2]);var d=document.createElement('div');d.className='bench';var h='<div class="bname">'+b[0]+' <span>'+b[1]+'</span></div>'; b[2].forEach(function(v,i){h+='<div class="row'+(i===0?' bolt':'')+(v===mx?' top':'')+'"><div class="m">'+M[i]+'</div><div class="track"><div class="fill" data-w="'+v+'"></div></div><div class="v">'+v.toFixed(1)+'</div></div>';}); d.innerHTML=h;box.appendChild(d);});requestAnimationFrame(function(){requestAnimationFrame(function(){box.querySelectorAll('.fill').forEach(function(f){f.style.width=f.dataset.w+'%';});});});setTimeout(post,60);} var D=[['RTX 5070','12GB',3.5,548,133.4,'Достатъчно бърз за разговори в реално време, с останала VRAM за модели за реч.'],['RTX Spark','32GB',3.1,930,67.0,'Най-ниско използване на VRAM в тестовете на NVIDIA, с под 1 секунда до първия токен.'],['Jetson AGX Orin','32GB',4.2,3687,24.0,'Подходящ за роботи и терминали; очаквайте отговори след няколко секунди при 3K вход.'],['Jetson Orin Nano','8GB',4.2,5785,15.5,'Побира се в платката с 8 GB, но латентността до първия токен е тясното място при 3K вход.']]; var curDev=0,devs=document.getElementById('mtp-devs'); D.forEach(function(d,i){var b=document.createElement('button');b.className='dev'+(i===0?' on':'');b.innerHTML=d[0]+'<small>'+d[1]+'</small>';b.addEventListener('click',function(){curDev=i;devs.querySelectorAll('.dev').forEach(function(x){x.classList.toggle('on',x===b)});showDev(i);});devs.appendChild(b);}); function count(el,to,dec){var s=performance.now(),dur=700;function f(t){var p=Math.min(1,(t-s)/dur);p=1-Math.pow(1-p,3);var v=to*p;el.textContent=dec?v.toFixed(dec):Math.round(v).toLocaleString('en-US');if(p<1)requestAnimationFrame(f);}requestAnimationFrame(f);} function showDev(i){var d=D[i];count(document.getElementById('mtp-vram'),d[2],1);count(document.getElementById('mtp-ttft'),d[3],0);count(document.getElementById('mtp-tps'),d[4],1); document.getElementById('mtp-vb').style.width=(d[2]/6*100)+'%';document.getElementById('mtp-tb').style.width=(d[3]/6000*100)+'%';document.getElementById('mtp-pb').style.width=(d[4]/140*100)+'%';document.getElementById('mtp-verdict').textContent=d[5];setTimeout(post,60);} window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> ">

Bolt не печели навсякъде. Qwen3.5-4B води в Tau2-Bench (75,1 спрямо 55,1) и RULER 64K (95,1 спрямо 87,0). Той също води в LongBench v2 (59,9 спрямо 50,5) и BFCL-v3 (70,9 спрямо 68,5). Gemma 4 E4B запазва малка преднина в EQ-Bench v3 (41,1 спрямо 39,4).

Как се сравнява Bolt E4B с други малки модели?

Характеристика	Nemotron 3.5 Bolt E4B	Gemma 4 E4B	Qwen3.5-4B	Nemotron 3 Nano 4B
Параметри	8B общо, 4B ефективни	8B с вграждания, 4,5B ефективни	4B (езиков модел)	3,97B
Архитектура	Gemma 4 E4B, дообучен с RL	Плътна с вграждания на ниво слой	Хибрид Gated DeltaNet + attention	Хибрид Mamba-2 + Transformer
Контекст	64K	128K	262K	262K
Лиценз	OpenMDW-1.1	Apache 2.0	Apache 2.0	NVIDIA Nemotron Open Model License
Входове	Текст (според картата); NIM приема също изображения и аудио	Текст, изображения, аудио	Текст, изображения, видео	Текст
IHEval*	84,8	67,0	60,6	51,3
MultiChallenge*	53,1	42,1	51,8	35,3
Tau2-Bench*	55,1	38,5	75,1	29,2
RULER 64K*	87,0	86,5	95,1	91,5
Наличност	Отворени тегла; безплатен API в build.nvidia.com	Отворени тегла	Отворени тегла	Отворени тегла

*Редовете с бенчмаркове са резултати BF16, измерени от NVIDIA в публикацията за старта на Bolt. Резултатите, посочени от доставчика, се различават.

На какъв хардуер работи?

NVIDIA е измерила версията Q4_K_M с llama.cpp при размер на пакета 1. Данните по-долу използват 3K входни и 50 изходни токена.

Устройство	VRAM (GB)	Време до първия токен (ms)	Токена/сек.
RTX 5070 (12GB)	3,5	548	133,4
RTX Spark (32GB)	3,1	930	67,0
Jetson AGX Orin (32GB)	4,2	3 687	24,0
Jetson Orin Nano (8GB)	4,2	5 785	15,5

Етикетът „4GB“ описва целевия обем памет, а не размера на файла. Q4_K_M GGUF в Hugging Face е 6,18 GB.

Bolt е наличен в Hugging Face, Ollama, LM Studio, Unsloth и Jetson AI Lab. Той се предлага и като NVIDIA NIM и чрез In-Game Inferencing SDK.

Основни изводи

Gemma 4 E4B, дообучен от NVIDIA само с RL, без SFT.
Води в 15 от 21 агентни бенчмарка в собствения набор на NVIDIA.
IHEval 84,8 е водещият резултат; Tau2-Bench 55,1 е слабата страна.
„4GB“ е целевият обем VRAM; GGUF файлът е 6,18 GB.
Отворени тегла, данни и рецепти съгласно OpenMDW-1.1.

Разгледайте техническия доклад, GGUF модела, BF16 модела и рецептата за обучение. Цялата заслуга е за изследователя на този проект. Също така, можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово издание, уебинар и т.н.? Свържете се с нас

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.