NVIDIA випустила Nemotron 3.5 Bolt E4B 4GB: малу мовну модель із відкритим кодом для локальних голосових агентів, ігрових персонажів і роботів

NVIDIA щойно випустила Nemotron 3.5 Bolt E4B 4GB — відкриту малу мовну модель для швидких розмовних агентів. Вона призначена для голосових помічників, NPC у відеоіграх і роботизованих інтерфейсів, що працюють локально на обладнанні RTX, Jetson і Spark. Модель пройшла донавчання на основі Gemma 4 E4B від Google і використовує лише навчання з підкріпленням. Для розробників це агентна поведінка приблизно в 4 ГБ VRAM. Це залишає місце для моделей мовлення та комп’ютерного зору.

Коротко

Розмір: загалом 8 млрд параметрів, 4 млрд ефективних, контекст 64K.
Працює на: GeForce RTX, Jetson, RTX Spark і DGX Spark. Збірка Q4_K_M використовувала від 3,1 до 4,3 ГБ VRAM на RTX у тестах NVIDIA.
Продуктивність: найкращий результат у 15 із 21 бенчмарку порівняно з Gemma 4 E4B, Qwen3.5-4B і Nemotron 3 Nano 4B (за вимірюваннями NVIDIA).
Найкращий результат: IHEval — 84,8 проти 67,0 у Gemma 4 E4B і 60,6 у Qwen3.5-4B.
Найгірший результат: Tau2-Bench — 55,1, приблизно на 20 пунктів нижче за Qwen3.5-4B із результатом 75,1.

Що таке Nemotron 3.5 Bolt E4B?

Nemotron 3.5 Bolt E4B — це мала мовна модель від NVIDIA, яка забезпечує роботу локальних розмовних агентів. Вона поєднує природний діалог із багатоетапним викликом інструментів. NVIDIA зазначає 3 цільові сценарії використання: пристрої та голосові помічники, інтерактивні персонажі, а також вбудовані чи промислові агенти.

У дослідницькому звіті показано робота Reachy Mini, що працює на Jetson Orin Nano 8GB. У цій демонстрації Cosmos 3 Edge відповідає за зір, а Bolt — за голосові відповіді та виклики інструментів. Команда NVIDIA також називає Bolt малою моделлю третього покоління для ігрових персонажів NVIDIA ACE.

Основні характеристики з публікації про запуск:

Багатоетапне використання інструментів із підтримкою асинхронних викликів інструментів.
Прапорець conversational_mode для коротких відповідей, готових для озвучення.
Налаштовуване міркування, а також бюджет міркування під час виконання для обмеження затримки.
Контекст 64K для історії, визначень інструментів і стану застосунку.

Як навчали Bolt E4B?

NVIDIA повністю відмовилася від навчання з учителем. Згідно з дослідницьким звітом, SFT покращувало виклик інструментів, але погіршувало розмовну якість і багатослівність Gemma. Натомість дослідницька команда використала RLVR і RLHF за допомогою NeMo-RL і NeMo-Gym.

Кожен навчальний приклад запускався в режимах із міркуванням і без нього. У кожному пакеті зберігалося співвідношення 2:1 між прикладами без міркування та прикладами з міркуванням. Штрафи за довжину в середовищі GenRM не давали відповідям збільшуватися під час навчання. Набори даних і повний рецепт опубліковані у відкритому доступі.

Для розгортання NVIDIA квантувала контрольну точку BF16 до Q4_K_M із калібруванням за допомогою матриці важливості. Для калібрування використали близько 1 млн токенів траєкторій RL. До релізу також входить чернеткова модель DFlash для спекулятивного декодування. На RTX 5070 Bolt із DFlash досяг 272,6 токена/с. Gemma 4 E4B із чернетковою моделлю MTP досягла 225,9 токена/с, тож Bolt працює в 1,21 раза швидше.

Як Nemotron 3.5 Bolt E4B показує себе в бенчмарках?

NVIDIA об’єднала 21 бенчмарк у 5 категорій можливостей. Усі наведені тут результати — BF16, виміряні NVIDIA у власному тестовому середовищі NeMo-Gym. Bolt посів перше місце у 15 із 21 рядка в режимі міркування.

NVIDIA також повідомляє приблизно на 40% вищі середні результати порівняно з Nemotron 3 Nano 4B. Компанія заявляє про до 80% меншу кількість вихідних токенів у порівняннях із увімкненим міркуванням. Окремо Scale Labs поставила Bolt на перше місце серед малих моделей у MultiChallenge з результатом 56,03% — згідно з дописом в X.

</div> <div class="node">RLVR + RLHF</div><div class="arr"></div> <div class="node">Контроль багатослівності</div><div class="arr"></div> <div class="node">Q4_K_M imatrix</div><div class="arr"></div> <div class="node">Чернеткова модель DFlash</div> </div> <div class="stepbox"> <div class="stepn" id="mtp-sn">Крок 1 із 5</div> <div class="stept" id="mtp-st"></div> <p class="stepd" id="mtp-sd"></p> </div> <div class="ctl"> <button class="btn ghost" id="mtp-prev">Назад</button> <div class="dots"><span class="dot on"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span></div> <button class="btn" id="mtp-next">Далі</button> </div> </div> <div class="pane" data-p="2"> <div class="chips" id="mtp-chips"></div> <div id="mtp-bars"></div> <div class="note">Результати BF16 виміряні NVIDIA у її тестовому середовищі NeMo-Gym. Результати, заявлені виробниками, можуть відрізнятися. Зеленим позначено найкраще значення в кожному рядку.</div> </div> <div class="pane" data-p="3"> <div class="devs" id="mtp-devs"></div> <div class="meters"> <div class="meter"><div class="mv" id="mtp-vram">0</div><div class="mu">VRAM (ГБ)</div><div class="mbar"><div class="mfill" id="mtp-vb"></div></div></div> <div class="meter"><div class="mv" id="mtp-ttft">0</div><div class="mu">Час до першого токена (мс)</div><div class="mbar"><div class="mfill" id="mtp-tb"></div></div></div> <div class="meter"><div class="mv" id="mtp-tps">0</div><div class="mu">Генерація (токенів/с)</div><div class="mbar"><div class="mfill" id="mtp-pb"></div></div></div> </div> <div class="verdict" id="mtp-verdict"></div> <div class="note">Q4_K_M, llama.cpp (CUDA), розмір пакета 1, 3K вхідних / 50 вихідних токенів, без кешованого контексту. Джерело: NVIDIA.</div> </div> <div class="pane" data-p="4"> <div class="two"> <div class="col w"><h4>Де вона найкраща</h4><ul> <li>IHEval 84,8 проти 67,0 (Gemma 4 E4B) і 60,6 (Qwen3.5-4B)</li> <li>MultiChallenge 53,1 — найкращий результат серед 4 моделей</li> <li>RelyToolBench 63,2 проти 43,3 у Qwen3.5-4B</li> <li>У 1,21 раза вища пропускна здатність MTP Gemma з DFlash на RTX 5070</li> </ul></div> <div class="col l"><h4>Де вона поступається</h4><ul> <li>Tau2-Bench 55,1 проти 75,1 у Qwen3.5-4B</li> <li>RULER 64K 87,0 проти 95,1 у Qwen3.5-4B</li> <li>MMMU-Pro Vision 42,0 проти 47,6 у Gemma 4 E4B</li> <li>5 785 мс до першого токена на Jetson Orin Nano при 3K вхідних токенах</li> </ul></div> </div> </div> <div class="ft"><span>Джерела: <a href="https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/" target="_blank" rel="noopener">блог NVIDIA</a> · <a href="https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf" target="_blank" rel="noopener">технічний звіт</a> · <a href="https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16" target="_blank" rel="noopener">картка моделі</a></span><span class="brand">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-bolt-e4b'); function post(){try{var h=R.offsetHeight+40;parent.postMessage({mtpEmbed:'bolt-e4b',height:h},'*');}catch(e){}} var tabs=R.querySelectorAll('.tab'),panes=R.querySelectorAll('.pane'); tabs.forEach(function(t){t.addEventListener('click',function(){var i=+t.dataset.t;tabs.forEach(function(x){x.classList.toggle('on',x===t)});panes.forEach(function(p){p.classList.toggle('on',+p.dataset.p===i)});if(i===2)drawBars();if(i===3)showDev(curDev);setTimeout(post,60);});}); R.querySelectorAll('.rv').forEach(function(b){b.addEventListener('click',function(){b.classList.toggle('open');setTimeout(post,380);});}); var steps=[ ['Початок із Gemma 4 E4B','Bolt починається з Google Gemma-4-E4B-it: загалом 8 млрд параметрів, 4 млрд ефективних. NVIDIA зберігає основу та змінює поведінку.'], ['Донавчання лише за допомогою RL','RLVR і RLHF працюють у NeMo-RL та NeMo-Gym. Середовища охоплюють виклик інструментів, виконання інструкцій, ієрархію інструкцій і структуровані вихідні дані. SFT відкинули, оскільки воно погіршувало розмовну якість.'], ['Навчання в обох режимах, контроль довжини','Кожен приклад запускається з увімкненим і вимкненим міркуванням у співвідношенні 2:1 між прикладами без міркування та з міркуванням. Відносні штрафи за довжину в групі допомагають зберігати короткі відповіді. NVIDIA повідомляє про до 80% меншу кількість вихідних токенів порівняно з аналогами.'], ['Квантування до Q4_K_M','Контрольну точку BF16 квантують за допомогою llama.cpp із калібруванням матриці важливості приблизно на 1 млн токенів траєкторій RL. Ця збірка орієнтована на обсяг VRAM близько 4 ГБ.'], ['Прискорення за допомогою DFlash','Паралельна чернеткова модель пропонує 7 токенів за один прохід, а Bolt їх перевіряє. На RTX 5070 вона досягає 272,6 токена/с проти 225,9 у Gemma з MTP — приріст у 1,21 раза.']]; var si=0,nodes=R.querySelectorAll('.node'),arrs=R.querySelectorAll('.arr'),dots=R.querySelectorAll('.dot'); function step(){document.getElementById('mtp-sn').textContent='Крок '+(si+1)+' із 5';document.getElementById('mtp-st').textContent=steps[si][0];document.getElementById('mtp-sd').textContent=steps[si][1]; nodes.forEach(function(n,i){n.classList.toggle('on',i<=si)});arrs.forEach(function(a,i){a.classList.toggle('on',i<si)});dots.forEach(function(d,i){d.classList.toggle('on',i===si)}); document.getElementById('mtp-prev').disabled=si===0;document.getElementById('mtp-next').textContent=si===4?'Почати спочатку':'Далі';setTimeout(post,60);} document.getElementById('mtp-prev').addEventListener('click',function(){if(si>0){si--;step();}}); document.getElementById('mtp-next').addEventListener('click',function(){si=si===4?0:si+1;step();}); step(); var M=['Bolt E4B','Nemotron 3 Nano 4B','Qwen3.5-4B','Gemma 4 E4B']; var B={'Діалог':[['MultiChallenge','послідовність між ходами',[53.1,35.3,51.8,42.1]],['RoleMRC','дотримання ідентичності ролі',[80.6,47.0,65.8,74.6]],['EQ-Bench v3','емоційний інтелект',[39.4,19.3,32.9,41.1]]], 'Використання інструментів':[['BFCL-v3','правильні інструменти й аргументи',[68.5,61.1,70.9,66.4]],['Tau2-Bench','багатоетапні завдання клієнтів',[55.1,29.2,75.1,38.5]],['When2Call-MT','викликати, уточнювати чи утриматися',[63.4,27.7,37.8,62.9]]], 'Інструкції':[['IHEval','ієрархія інструкцій',[84.8,51.3,60.6,67.0]],['IFBench','точні обмеження вихідних даних',[63.8,60.1,58.9,42.8]],['StructEval-T','коректні структуровані вихідні дані',[80.4,63.5,76.0,79.3]]], 'Контекст':[['RULER 64K','пошук і міркування',[87.0,91.5,95.1,86.5]],['LongBench v2 (48K)','довгі запити',[50.5,31.4,59.9,49.3]],['LongMemEval','згадування в різних діалогах',[72.1,25.2,66.8,70.9]]], 'Заземлення':[['GaRAGe','факти з наданих джерел',[42.6,25.2,24.7,34.7]],['RAGTruth','уникнення непідтверджених тверджень',[77.6,71.4,75.6,77.0]],['RelyToolBench','заземлення інструментів',[63.2,41.2,43.3,61.6]]]}; var cat='Діалог',chips=document.getElementById('mtp-chips'); Object.keys(B).forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cat?' on':'');c.textContent=k;c.addEventListener('click',function(){cat=k;chips.querySelectorAll('.chip').forEach(function(x){x.classList.toggle('on',x===c)});drawBars();});chips.appendChild(c);}); function drawBars(){var box=document.getElementById('mtp-bars');box.innerHTML='';B[cat].forEach(function(b){var mx=Math.max.apply(null,b[2]);var d=document.createElement('div');d.className='bench';var h='<div class="bname">'+b[0]+' <span>'+b[1]+'</span></div>'; b[2].forEach(function(v,i){h+='<div class="row'+(i===0?' bolt':'')+(v===mx?' top':'')+'"><div class="m">'+M[i]+'</div><div class="track"><div class="fill" data-w="'+v+'"></div></div><div class="v">'+v.toFixed(1)+'</div></div>';}); d.innerHTML=h;box.appendChild(d);});requestAnimationFrame(function(){requestAnimationFrame(function(){box.querySelectorAll('.fill').forEach(function(f){f.style.width=f.dataset.w+'%';});});});setTimeout(post,60);} var D=[['RTX 5070','12GB',3.5,548,133.4,'Достатньо швидка для голосових діалогів у реальному часі, із залишком VRAM для мовних моделей.'],['RTX Spark','32GB',3.1,930,67.0,'Найменше використання VRAM у тестах NVIDIA, до першого токена — менш ніж 1 секунда.'],['Jetson AGX Orin','32GB',4.2,3687,24.0,'Підходить для роботів і кіосків; при 3K вхідних токенах очікуйте багатосекундних перших відповідей.'],['Jetson Orin Nano','8GB',4.2,5785,15.5,'Поміщається на платі з 8 ГБ, але затримка до першого токена є вузьким місцем при 3K вхідних токенах.']]; var curDev=0,devs=document.getElementById('mtp-devs'); D.forEach(function(d,i){var b=document.createElement('button');b.className='dev'+(i===0?' on':'');b.innerHTML=d[0]+'<small>'+d[1]+'</small>';b.addEventListener('click',function(){curDev=i;devs.querySelectorAll('.dev').forEach(function(x){x.classList.toggle('on',x===b)});showDev(i);});devs.appendChild(b);}); function count(el,to,dec){var s=performance.now(),dur=700;function f(t){var p=Math.min(1,(t-s)/dur);p=1-Math.pow(1-p,3);var v=to*p;el.textContent=dec?v.toFixed(dec):Math.round(v).toLocaleString('en-US');if(p<1)requestAnimationFrame(f);}requestAnimationFrame(f);} function showDev(i){var d=D[i];count(document.getElementById('mtp-vram'),d[2],1);count(document.getElementById('mtp-ttft'),d[3],0);count(document.getElementById('mtp-tps'),d[4],1); document.getElementById('mtp-vb').style.width=(d[2]/6*100)+'%';document.getElementById('mtp-tb').style.width=(d[3]/6000*100)+'%';document.getElementById('mtp-pb').style.width=(d[4]/140*100)+'%';document.getElementById('mtp-verdict').textContent=d[5];setTimeout(post,60);} window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> ">

Bolt не перемагає всюди. Qwen3.5-4B лідирує в Tau2-Bench (75,1 проти 55,1) і RULER 64K (95,1 проти 87,0). Вона також випереджає в LongBench v2 (59,9 проти 50,5) і BFCL-v3 (70,9 проти 68,5). Gemma 4 E4B зберігає невелику перевагу в EQ-Bench v3 (41,1 проти 39,4).

Як Bolt E4B порівнюється з іншими малими моделями?

Характеристика	Nemotron 3.5 Bolt E4B	Gemma 4 E4B	Qwen3.5-4B	Nemotron 3 Nano 4B
Параметри	8 млрд загалом, 4 млрд ефективних	8 млрд із вбудовуваннями, 4,5 млрд ефективних	4 млрд (мовна модель)	3,97 млрд
Архітектура	Gemma 4 E4B, донавчена за допомогою RL	Щільна, з поша́ровими вбудовуваннями	Гібрид Gated DeltaNet + attention	Гібрид Mamba-2 + Transformer
Контекст	64K	128K	262K	262K
Ліцензія	OpenMDW-1.1	Apache 2.0	Apache 2.0	NVIDIA Nemotron Open Model License
Вхідні дані	Текст (картка); NIM також приймає зображення й аудіо	Текст, зображення, аудіо	Текст, зображення, відео	Текст
IHEval*	84,8	67,0	60,6	51,3
MultiChallenge*	53,1	42,1	51,8	35,3
Tau2-Bench*	55,1	38,5	75,1	29,2
RULER 64K*	87,0	86,5	95,1	91,5
Доступність	Відкриті ваги; безкоштовний API на build.nvidia.com	Відкриті ваги	Відкриті ваги	Відкриті ваги

*Рядки бенчмарків містять виміряні NVIDIA результати BF16 із публікації про запуск Bolt. Результати, заявлені виробниками, відрізняються.

На якому обладнанні вона працює?

NVIDIA вимірювала збірку Q4_K_M із llama.cpp і розміром пакета 1. Наведені нижче показники отримано для 3K вхідних і 50 вихідних токенів.

Пристрій	VRAM (ГБ)	Час до першого токена (мс)	Токенів/с
RTX 5070 (12GB)	3,5	548	133,4
RTX Spark (32GB)	3,1	930	67,0
Jetson AGX Orin (32GB)	4,2	3 687	24,0
Jetson Orin Nano (8GB)	4,2	5 785	15,5

Позначка «4GB» описує цільовий обсяг пам’яті, а не розмір файлу. Файл Q4_K_M GGUF на Hugging Face має розмір 6,18 ГБ.

Bolt доступна на Hugging Face, Ollama, LM Studio, Unsloth і Jetson AI Lab. Вона також постачається як NVIDIA NIM і через In-Game Inferencing SDK.

Основні висновки

Gemma 4 E4B, донавчена NVIDIA лише за допомогою RL, без SFT.
Лідирує у 15 із 21 агентного бенчмарку у власному тестовому середовищі NVIDIA.
IHEval 84,8 — найкращий результат; Tau2-Bench 55,1 — слабке місце.
«4GB» — це цільовий обсяг VRAM; файл GGUF має розмір 6,18 ГБ.
Відкриті ваги, дані й рецепти за ліцензією OpenMDW-1.1.

Ознайомтеся з технічним звітом, моделлю GGUF, моделлю BF16 і рецептом навчання. Уся подяка досліднику цього проєкту. Також не соромтеся стежити за нами у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання зі 150 тисячами+ учасників та підписатися на нашу розсилку. Стривайте! Ви користуєтеся Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки на Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.