NVIDIA выпустила Nemotron 3.5 Bolt E4B 4GB: небольшую языковую модель с открытым кодом для локальных голосовых агентов, игровых персонажей и роботов

NVIDIA только что выпустила Nemotron 3.5 Bolt E4B 4GB — небольшую открытую языковую модель для быстрых разговорных агентов. Она предназначена для голосовых ассистентов, игровых NPC и интерфейсов роботов, работающих локально на оборудовании RTX, Jetson и Spark. Модель прошла дообучение на основе Gemma 4 E4B от Google исключительно с использованием обучения с подкреплением. Для разработчиков это поведение агента примерно в 4 ГБ видеопамяти. Это оставляет место для моделей речи и компьютерного зрения.

Кратко

Размер: 8 млрд параметров всего, 4 млрд эффективных, контекст 64K.
Работает на: GeForce RTX, Jetson, RTX Spark и DGX Spark. В тестах NVIDIA сборка Q4_K_M использовала от 3,1 до 4,3 ГБ видеопамяти на RTX.
Производительность: лучший результат в 15 из 21 бенчмарка по сравнению с Gemma 4 E4B, Qwen3.5-4B и Nemotron 3 Nano 4B (по измерениям NVIDIA).
Лучший результат: IHEval — 84,8 против 67,0 у Gemma 4 E4B и 60,6 у Qwen3.5-4B.
Худший результат: Tau2-Bench — 55,1, примерно на 20 пунктов ниже, чем у Qwen3.5-4B с результатом 75,1.

Что такое Nemotron 3.5 Bolt E4B?

Nemotron 3.5 Bolt E4B — небольшая языковая модель от NVIDIA, предназначенная для локальных разговорных агентов. Она сочетает естественный диалог с многошаговым вызовом инструментов. NVIDIA выделяет 3 целевых сценария: ассистенты устройств и голосовые ассистенты, интерактивные персонажи, а также встроенные и промышленные агенты.

В исследовательском отчёте показан робот Reachy Mini, работающий на Jetson Orin Nano 8GB. В этой демонстрации Cosmos 3 Edge отвечает за зрение, а Bolt — за речевые ответы и вызовы инструментов. Команда NVIDIA также называет Bolt небольшой моделью третьего поколения для игровых персонажей NVIDIA ACE.

Основные возможности из анонса:

Многошаговое использование инструментов с рекомендациями по асинхронным вызовам инструментов.
Флаг conversational_mode для коротких ответов, готовых для озвучивания.
Настраиваемое рассуждение и бюджет размышлений во время выполнения для ограничения задержки.
Контекст 64K для истории, описаний инструментов и состояния приложения.

Как обучалась Bolt E4B?

NVIDIA полностью отказалась от обучения с учителем. Согласно исследовательскому отчёту, SFT улучшало вызов инструментов, но ухудшало разговорные качества и многословность Gemma. Вместо этого исследовательская команда использовала RLVR и RLHF через NeMo-RL и NeMo-Gym.

Каждый обучающий пример обрабатывался как в режиме рассуждения, так и без него. В каждой выборке сохранялось соотношение 2:1 между примерами без рассуждения и примерами с рассуждением. Штрафы за длину в среде GenRM не позволяли ответам увеличиваться во время обучения. Наборы данных и полный рецепт опубликованы в открытом доступе.

Для развёртывания NVIDIA квантизировала контрольную точку BF16 в Q4_K_M с калибровкой на основе матрицы важности. Для калибровки использовалось около 1 млн токенов траекторий RL. В комплект поставки также входит черновик DFlash для спекулятивного декодирования. На RTX 5070 Bolt с DFlash достигла скорости 272,6 токена/с. Gemma 4 E4B с черновиком MTP достигла 225,9 токена/с, поэтому Bolt работает в 1,21 раза быстрее.

Как Nemotron 3.5 Bolt E4B показывает себя в бенчмарках?

NVIDIA объединила 21 бенчмарк в 5 категорий возможностей. Все приведённые здесь результаты получены для BF16 и измерены NVIDIA с использованием собственного тестового стенда NeMo-Gym. Bolt лидировала в 15 из 21 показателя в режиме рассуждения.

NVIDIA также сообщает примерно на 40% более высокие средние результаты по сравнению с Nemotron 3 Nano 4B. Компания заявляет о сокращении количества выходных токенов до 80% в сравнениях с включённым рассуждением. Отдельно Scale Labs поставила Bolt на первое место среди небольших моделей в MultiChallenge с результатом 56,03%, согласно публикации в X.

</div> <div class="node">RLVR + RLHF</div><div class="arr"></div> <div class="node">Контроль многословности</div><div class="arr"></div> <div class="node">Q4_K_M imatrix</div><div class="arr"></div> <div class="node">Черновик DFlash</div> </div> <div class="stepbox"> <div class="stepn" id="mtp-sn">Шаг 1 из 5</div> <div class="stept" id="mtp-st"></div> <p class="stepd" id="mtp-sd"></p> </div> <div class="ctl"> <button class="btn ghost" id="mtp-prev">Назад</button> <div class="dots"><span class="dot on"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span><span class="dot"></span></div> <button class="btn" id="mtp-next">Далее</button> </div> </div> <div class="pane" data-p="2"> <div class="chips" id="mtp-chips"></div> <div id="mtp-bars"></div> <div class="note">Результаты BF16 измерены NVIDIA с использованием её тестового стенда NeMo-Gym. Результаты, предоставленные производителями, могут отличаться. Зелёное значение обозначает лучший результат в каждой строке.</div> </div> <div class="pane" data-p="3"> <div class="devs" id="mtp-devs"></div> <div class="meters"> <div class="meter"><div class="mv" id="mtp-vram">0</div><div class="mu">Видеопамять (ГБ)</div><div class="mbar"><div class="mfill" id="mtp-vb"></div></div></div> <div class="meter"><div class="mv" id="mtp-ttft">0</div><div class="mu">Время до первого токена (мс)</div><div class="mbar"><div class="mfill" id="mtp-tb"></div></div></div> <div class="meter"><div class="mv" id="mtp-tps">0</div><div class="mu">Генерация (токенов/с)</div><div class="mbar"><div class="mfill" id="mtp-pb"></div></div></div> </div> <div class="verdict" id="mtp-verdict"></div> <div class="note">Q4_K_M, llama.cpp (CUDA), размер пакета 1, 3K входных / 50 выходных токенов, без кэшированного контекста. Источник: NVIDIA.</div> </div> <div class="pane" data-p="4"> <div class="two"> <div class="col w"><h4>Где она выигрывает</h4><ul> <li>IHEval — 84,8 против 67,0 у Gemma 4 E4B и 60,6 у Qwen3.5-4B</li> <li>MultiChallenge — 53,1, лучший результат среди 4 моделей</li> <li>RelyToolBench — 63,2 против 43,3 у Qwen3.5-4B</li> <li>Пропускная способность MTP в 1,21 раза выше, чем у Gemma, благодаря DFlash на RTX 5070</li> </ul></div> <div class="col l"><h4>Где она уступает</h4><ul> <li>Tau2-Bench — 55,1 против 75,1 у Qwen3.5-4B</li> <li>RULER 64K — 87,0 против 95,1 у Qwen3.5-4B</li> <li>MMMU-Pro Vision — 42,0 против 47,6 у Gemma 4 E4B</li> <li>5 785 мс до первого токена на Jetson Orin Nano при входе 3K</li> </ul></div> </div> </div> <div class="ft"><span>Источники: <a href="https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/" target="_blank" rel="noopener">блог NVIDIA</a> · <a href="https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf" target="_blank" rel="noopener">технический отчёт</a> · <a href="https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16" target="_blank" rel="noopener">карточка модели</a></span><span class="brand">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-bolt-e4b'); function post(){try{var h=R.offsetHeight+40;parent.postMessage({mtpEmbed:'bolt-e4b',height:h},'*');}catch(e){}} var tabs=R.querySelectorAll('.tab'),panes=R.querySelectorAll('.pane'); tabs.forEach(function(t){t.addEventListener('click',function(){var i=+t.dataset.t;tabs.forEach(function(x){x.classList.toggle('on',x===t)});panes.forEach(function(p){p.classList.toggle('on',+p.dataset.p===i)});if(i===2)drawBars();if(i===3)showDev(curDev);setTimeout(post,60);});}); R.querySelectorAll('.rv').forEach(function(b){b.addEventListener('click',function(){b.classList.toggle('open');setTimeout(post,380);});}); var steps=[ ['Начало с Gemma 4 E4B','Bolt начинается с Google Gemma-4-E4B-it: всего 8 млрд параметров, 4 млрд эффективных. NVIDIA сохраняет базовую архитектуру и меняет поведение.'], ['Дообучение только с помощью RL','RLVR и RLHF выполняются в NeMo-RL и NeMo-Gym. Среды охватывают вызов инструментов, следование инструкциям, иерархию инструкций и структурированные ответы. SFT исключили, поскольку оно ухудшало качество диалога.'], ['Обучение обоих режимов, контроль длины','Каждый пример запускается с включённым и выключенным рассуждением в соотношении 2:1 между примерами без рассуждения и с рассуждением. Относительные групповые штрафы за длину делают ответы короткими. NVIDIA сообщает о сокращении количества выходных токенов по сравнению с конкурентами до 80%.'], ['Квантизация в Q4_K_M','Контрольная точка BF16 квантизируется с помощью llama.cpp с использованием калибровки на основе матрицы важности примерно на 1 млн токенов траекторий RL. Эта сборка рассчитана примерно на 4 ГБ видеопамяти.'], ['Ускорение с помощью DFlash','Параллельный черновик предлагает 7 токенов за один проход, а Bolt их проверяет. На RTX 5070 она достигает 272,6 токена/с против 225,9 у Gemma с MTP — прирост в 1,21 раза.']]; var si=0,nodes=R.querySelectorAll('.node'),arrs=R.querySelectorAll('.arr'),dots=R.querySelectorAll('.dot'); function step(){document.getElementById('mtp-sn').textContent='Шаг '+(si+1)+' из 5';document.getElementById('mtp-st').textContent=steps[si][0];document.getElementById('mtp-sd').textContent=steps[si][1]; nodes.forEach(function(n,i){n.classList.toggle('on',i<=si)});arrs.forEach(function(a,i){a.classList.toggle('on',i<si)});dots.forEach(function(d,i){d.classList.toggle('on',i===si)}); document.getElementById('mtp-prev').disabled=si===0;document.getElementById('mtp-next').textContent=si===4?'Начать заново':'Далее';setTimeout(post,60);} document.getElementById('mtp-prev').addEventListener('click',function(){if(si>0){si--;step();}}); document.getElementById('mtp-next').addEventListener('click',function(){si=si===4?0:si+1;step();}); step(); var M=['Bolt E4B','Nemotron 3 Nano 4B','Qwen3.5-4B','Gemma 4 E4B']; var B={'Диалог':[['MultiChallenge','согласованность между ходами',[53.1,35.3,51.8,42.1]],['RoleMRC','соблюдение идентичности роли',[80.6,47.0,65.8,74.6]],['EQ-Bench v3','эмоциональный интеллект',[39.4,19.3,32.9,41.1]]], 'Использование инструментов':[['BFCL-v3','корректные инструменты и аргументы',[68.5,61.1,70.9,66.4]],['Tau2-Bench','многошаговые задачи клиентов',[55.1,29.2,75.1,38.5]],['When2Call-MT','вызвать, уточнить или воздержаться',[63.4,27.7,37.8,62.9]]], 'Инструкции':[['IHEval','иерархия инструкций',[84.8,51.3,60.6,67.0]],['IFBench','точные ограничения вывода',[63.8,60.1,58.9,42.8]],['StructEval-T','действительные структурированные ответы',[80.4,63.5,76.0,79.3]]], 'Контекст':[['RULER 64K','извлечение и рассуждение',[87.0,91.5,95.1,86.5]],['LongBench v2 (48K)','длинные запросы',[50.5,31.4,59.9,49.3]],['LongMemEval','воспроизведение между диалогами',[72.1,25.2,66.8,70.9]]], 'Заземление':[['GaRAGe','факты из предоставленных источников',[42.6,25.2,24.7,34.7]],['RAGTruth','избегание неподтверждённых утверждений',[77.6,71.4,75.6,77.0]],['RelyToolBench','заземление инструментов',[63.2,41.2,43.3,61.6]]]}; var cat='Диалог',chips=document.getElementById('mtp-chips'); Object.keys(B).forEach(function(k){var c=document.createElement('button');c.className='chip'+(k===cat?' on':'');c.textContent=k;c.addEventListener('click',function(){cat=k;chips.querySelectorAll('.chip').forEach(function(x){x.classList.toggle('on',x===c)});drawBars();});chips.appendChild(c);}); function drawBars(){var box=document.getElementById('mtp-bars');box.innerHTML='';B[cat].forEach(function(b){var mx=Math.max.apply(null,b[2]);var d=document.createElement('div');d.className='bench';var h='<div class="bname">'+b[0]+' <span>'+b[1]+'</span></div>'; b[2].forEach(function(v,i){h+='<div class="row'+(i===0?' bolt':'')+(v===mx?' top':'')+'"><div class="m">'+M[i]+'</div><div class="track"><div class="fill" data-w="'+v+'"></div></div><div class="v">'+v.toFixed(1)+'</div></div>';}); d.innerHTML=h;box.appendChild(d);});requestAnimationFrame(function(){requestAnimationFrame(function(){box.querySelectorAll('.fill').forEach(function(f){f.style.width=f.dataset.w+'%';});});});setTimeout(post,60);} var D=[['RTX 5070','12GB',3.5,548,133.4,'Достаточно быстро для живого голосового диалога, при этом остаётся видеопамять для речевых моделей.'],['RTX Spark','32GB',3.1,930,67.0,'Минимальное использование видеопамяти в тестах NVIDIA, до первого токена — менее 1 секунды.'],['Jetson AGX Orin','32GB',4.2,3687,24.0,'Подходит для роботов и киосков; при входе 3K ожидайте многосекундные первые ответы.'],['Jetson Orin Nano','8GB',4.2,5785,15.5,'Помещается на плате с 8 ГБ, но задержка до первого токена является узким местом при входе 3K.']]; var curDev=0,devs=document.getElementById('mtp-devs'); D.forEach(function(d,i){var b=document.createElement('button');b.className='dev'+(i===0?' on':'');b.innerHTML=d[0]+'<small>'+d[1]+'</small>';b.addEventListener('click',function(){curDev=i;devs.querySelectorAll('.dev').forEach(function(x){x.classList.toggle('on',x===b)});showDev(i);});devs.appendChild(b);}); function count(el,to,dec){var s=performance.now(),dur=700;function f(t){var p=Math.min(1,(t-s)/dur);p=1-Math.pow(1-p,3);var v=to*p;el.textContent=dec?v.toFixed(dec):Math.round(v).toLocaleString('en-US');if(p<1)requestAnimationFrame(f);}requestAnimationFrame(f);} function showDev(i){var d=D[i];count(document.getElementById('mtp-vram'),d[2],1);count(document.getElementById('mtp-ttft'),d[3],0);count(document.getElementById('mtp-tps'),d[4],1); document.getElementById('mtp-vb').style.width=(d[2]/6*100)+'%';document.getElementById('mtp-tb').style.width=(d[3]/6000*100)+'%';document.getElementById('mtp-pb').style.width=(d[4]/140*100)+'%';document.getElementById('mtp-verdict').textContent=d[5];setTimeout(post,60);} window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> ">

Bolt не выигрывает во всех категориях. Qwen3.5-4B лидирует в Tau2-Bench (75,1 против 55,1) и RULER 64K (95,1 против 87,0). Она также лидирует в LongBench v2 (59,9 против 50,5) и BFCL-v3 (70,9 против 68,5). Gemma 4 E4B сохраняет небольшое преимущество в EQ-Bench v3 (41,1 против 39,4).

Как Bolt E4B сравнивается с другими небольшими моделями?

Характеристика	Nemotron 3.5 Bolt E4B	Gemma 4 E4B	Qwen3.5-4B	Nemotron 3 Nano 4B
Параметры	8 млрд всего, 4 млрд эффективных	8 млрд с эмбеддингами, 4,5 млрд эффективных	4 млрд (языковая модель)	3,97 млрд
Архитектура	Gemma 4 E4B, дообучение с помощью RL	Плотная с послойными эмбеддингами	Гибрид Gated DeltaNet + attention	Гибрид Mamba-2 + Transformer
Контекст	64K	128K	262K	262K
Лицензия	OpenMDW-1.1	Apache 2.0	Apache 2.0	NVIDIA Nemotron Open Model License
Входные данные	Текст (карточка); NIM также принимает изображения и аудио	Текст, изображения, аудио	Текст, изображения, видео	Текст
IHEval*	84,8	67,0	60,6	51,3
MultiChallenge*	53,1	42,1	51,8	35,3
Tau2-Bench*	55,1	38,5	75,1	29,2
RULER 64K*	87,0	86,5	95,1	91,5
Доступность	Открытые веса; бесплатный API на build.nvidia.com	Открытые веса	Открытые веса	Открытые веса

*Строки бенчмарков содержат результаты BF16, измеренные NVIDIA и приведённые в анонсе Bolt. Результаты, предоставленные производителями, отличаются.

На каком оборудовании она работает?

NVIDIA измерила сборку Q4_K_M с llama.cpp при размере пакета 1. Приведённые ниже показатели получены для 3K входных и 50 выходных токенов.

Устройство	Видеопамять (ГБ)	Время до первого токена (мс)	Токенов/с
RTX 5070 (12 ГБ)	3,5	548	133,4
RTX Spark (32 ГБ)	3,1	930	67,0
Jetson AGX Orin (32 ГБ)	4,2	3 687	24,0
Jetson Orin Nano (8 ГБ)	4,2	5 785	15,5

Обозначение «4GB» описывает целевой объём памяти, а не размер файла. Q4_K_M GGUF на Hugging Face занимает 6,18 ГБ.

Bolt доступна на Hugging Face, Ollama, LM Studio, Unsloth и Jetson AI Lab. Она также поставляется как NVIDIA NIM и входит в In-Game Inferencing SDK.

Главные выводы

Gemma 4 E4B, дообученная NVIDIA только с помощью RL, без SFT.
Лидирует в 15 из 21 бенчмарка агентов на собственном тестовом стенде NVIDIA.
IHEval 84,8 — выдающийся результат; Tau2-Bench 55,1 — слабое место.
«4GB» — целевой объём видеопамяти; файл GGUF занимает 6,18 ГБ.
Открытые веса, данные и рецепты под лицензией OpenMDW-1.1.

Ознакомьтесь с техническим отчётом, моделью GGUF, моделью BF16 и рецептом обучения. Вся заслуга принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь к нам можно присоединиться и в Telegram.

Хотите сотрудничать с нами для продвижения вашего репозитория GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.