NVIDIA пусна Nemotron 3.5 Transcribe: отворен MoE модел с 30 млрд. параметъра за транскрипция на 40 езика с ~4 млрд. активни параметъра

NVIDIA пусна Nemotron 3.5 Transcribe — езиков модел за реч с отворени тегла, създаден за транскрипция. Един модел обработва 40 езика и записи с продължителност до 1 час. Текстова инструкция избира стила на изхода за всяка заявка. Опциите включват дословен, редактиран, с посочени говорители, контекстуален и преведен изход. За разработчиците той може да замени отделните инструменти за ASR, диаризация и подравняване.

Накратко

Размер: общо 34 млрд. и около 4,3 млрд. активни параметъра; контекст от 65 536 токена; аудио до 1 час.
Работи на: 1x H100 с 80 GB в BF16. Съществуват контролни точки FP8 (около 35 GB) и NVFP4 (около 21 GB); NVFP4 работи на RTX 5090. GGUF файловете са предназначени за NeMo-Speech.cpp.
Производителност: най-добрият модел с отворени тегла в класациите Open ASR за английски и многоезичен ASR; водещите комерсиални API все още са напред.
Най-добър резултат: среден WER от 4,71% в 9-те публични английски набора Open ASR (следващият модел с отворени тегла: 4,94%).
Най-слаб резултат: cpCER от 34,95% при далечни срещи на мандарин в AliMeeting.
Извод: най-голямото предимство е, че 1 отворен модел покрива транскрипции, етикети на говорители, времеви маркери и превод. Най-големият недостатък: работи само офлайн и има слаба точност при срещи на мандарин.

Какво представлява Nemotron 3.5 Transcribe?

Nemotron 3.5 Transcribe е езиков модел, разширен с възможности за обработка на реч (SALM), от NVIDIA, който преобразува аудио и инструкции в текст. Аудио енкодер подава вграждания към LLM декодер, което прави транскрипцията управляема чрез подсказки. Техническият изследователски доклад на NVIDIA твърди, че няма единствено правилна транскрипция. Числата, паразитните думи и термините от конкретната област зависят от това кой ще прочете изхода. NVIDIA позиционира модела като специалист по транскрипция, а не като асистент с общо предназначение.

Как работи архитектурата?

Тя има три части:

Паралелен експертен енкодер: обучаем Transformer ASR енкодер с 0,6 млрд. параметъра работи успоредно със замразен модел Nemotron 3 Diarization. Моделът за диаризация проследява до 8 говорители. Активността на говорителите се добавя към ASR характеристиките на всеки 80 ms. Така LLM вижда кой кога е говорил, без промени в архитектурата.
Основен LLM: Nemotron 3.5 Lightning 30B-A3B — хибриден Mamba-Transformer MoE. Той има 52 слоя: 23 Mamba-2, 23 MoE и само 6 слоя за внимание. Всеки MoE слой насочва към 6 от 128 експерта плюс 1 споделен експерт. Малкият брой слоеве за внимание поддържа кеша KV малък при аудио с продължителност до час.
Допълнения: споделен слой за многотокеново предвиждане (MTP) подготвя токени за спекулативно декодиране. CTC адаптер с 50 млн. параметъра подравнява готовата транскрипция към аудиото за времеви маркери на думите.

Името на модела гласи 30B-A4B, но контролната точка съдържа около 34 млрд. параметъра. Допълнителното тегло идва от модула MTP с 1,3 млрд. параметъра и аудио компонентите.

Обучението използва 1 етап на контролирано дообучение върху 256 H100 GPU за 28 500 стъпки. Следва кратък RL етап: 400 GSPO обновявания с награда 1 минус WER. Моделът е обработил около 1,72 млн. уникални часа аудио или 6,5 млн. часа с повторенията.

Как се представя в бенчмарковете?

Всички числа по-долу са посочени от NVIDIA в техническия доклад.

English Open ASR (9 публични набора): среден WER от 4,71%. Следващият модел с отворени тегла, Qwen3-ASR-1.7B, постига 4,94%. Седем комерсиални системи все още са начело, като лидер е OtterAI speech-v3.1 с 3,88%.
Multilingual Open ASR (7 езика): среден WER от 4,62% спрямо 6,49% за Qwen3-ASR-1.7B. ElevenLabs Scribe v2 достига 3,56%.
ASR на дълги записи: среден WER от 10,98% спрямо 13,37% за Parakeet-TDT-0.6B-v3.
Много говорители, пълни сесии: среден cpWER от 15,80% спрямо 16,83% за DiCoW v3.3 с DiariZen. NVIDIA твърди, че това е първият SALM, който надминава каскадните системи в тази задача.
Контекстуален ASR: списък с обекти намалява WER на именуваните обекти в ContextASR-Bench от 12,21% на 2,20%.

Автоматично възпроизвеждане</button> </div> </div> <div class="pane" id="p2"> <div class="seg"> <button class="chip on" data-b="en">English Open ASR</button> <button class="chip" data-b="ml">Multilingual Open ASR</button> <button class="chip" data-b="lf">Long-form</button> </div> <div id="nt35bars"></div> <p class="note" id="nt35bn"></p> </div> <div class="pane" id="p3"> <p class="note" style="margin:0 0 10px!important">1 контролна точка, различни инструкции. Натиснете стил, за да видите модела на заявката и формата на изхода (илюстративни, не са пример от модела).</p> <div class="seg" id="nt35ps"> <button class="chip on" data-p="0">Дословен</button> <button class="chip" data-p="1">Редактиран текст</button> <button class="chip" data-p="2">Контекстуални термини</button> <button class="chip" data-p="3">Говорители</button> <button class="chip" data-p="4">Превод</button> </div> <div class="out"><div class="lbl">Инструкция</div><pre><code id="nt35pi"></code></pre></div> <div class="out"><div class="lbl">Форма на изхода</div><pre><code id="nt35po"></code></pre></div> </div> <div class="pane" id="p4"> <div class="grid2"> <div class="card on"><h4>BF16</h4><div class="big">67.5 GB</div><p>Референтни тегла · 1x H100 80 GB</p><div class="more">Ampere, Hopper и Blackwell. NVIDIA изчислява около 410 RTFx на 1 H100 с MTP2 (пакетен английски ASR).</div></div> <div class="card"><h4>FP8</h4><div class="big">~35 GB</div><p>Ada Lovelace, Hopper, Blackwell</p><div class="more">Средно процентът на грешките е с 1,0% по-висок в относително изражение. NVIDIA го препоръчва, когато точността при неанглийски езици е най-важна.</div></div> <div class="card"><h4>NVFP4</h4><div class="big">~21 GB</div><p>Само Blackwell · работи на RTX 5090</p><div class="more">Средно процентът на грешките е с 3,6% по-висок в относително изражение. Най-подходящ е, когато паметта или пропускателната способност са основното ограничение.</div></div> <div class="card"><h4>Скорост на NIM</h4><div class="big">2,238x</div><p>Реално време на 1 RTX PRO 6000 Blackwell</p><div class="more">NVFP4 + DFlash2 в Nemotron Transcribe NIM; 30-секунден клип за 0,13 s. Тези оптимизации за обслужване все още не са с отворен код.</div></div> </div> <p class="note">Среда за изпълнение: vLLM 0.32.0 + плъгин NeMo Speech, Hugging Face Transformers, SGLang-Omni 0.2.0, GGML (NeMo-Speech.cpp). Лиценз: OpenMDW-1.1.</p> </div> <div class="pane" id="p5"> <div class="row"><div class="ic up">+</div><div><b>Най-добрият ASR с отворени тегла:</b> среден WER от 4,71% за английски и 4,62% за многоезичен ASR в класациите Open ASR.</div></div> <div class="row"><div class="ic up">+</div><div><b>Срещи:</b> среден cpWER от 15,80% при пълни сесии, пред DiCoW v3.3 + DiariZen с 16,83%.</div></div> <div class="row"><div class="ic up">+</div><div><b>Контекст:</b> списък с обекти намалява WER на именуваните обекти в ContextASR-Bench от 12,21% на 2,20%.</div></div> <div class="row"><div class="ic dn">!</div><div><b>Разлика спрямо комерсиалните модели:</b> OtterAI speech-v3.1 достига 3,88% WER за английски; ElevenLabs Scribe v2 достига 3,56% за многоезичен ASR.</div></div> <div class="row"><div class="ic dn">!</div><div><b>Срещи на мандарин:</b> 32,91% cpCER в AISHELL-4 и 34,95% в AliMeeting.</div></div> <div class="row"><div class="ic dn">!</div><div><b>Само офлайн:</b> не е услуга за поточен ASR; vLLM в деня на пускането е приблизително 2 пъти по-бавен от NIM.</div></div> </div> <div class="ft"><span>Източник: техническият доклад и картата на модела на NVIDIA (данни на самата компания), октомври 2026 г.</span><span class="br">© Marktechpost</span></div> <script> (function(){ var R=document.getElementById('mtp-nt35'); function post(){try{parent.postMessage({mtpEmbed:'nt35',h:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.addEventListener('click',function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')}); R.querySelectorAll('.pane').forEach(function(x){x.classList.remove('on')}); t.classList.add('on');document.getElementById(t.dataset.t).classList.add('on'); if(t.dataset.t==='p2')drawBars(curB);setTimeout(post,60);setTimeout(post,500);});}); var S=[ '<strong>Аудио на входа.</strong> Моделът приема едноканално аудио с честота 16 kHz, до 1 час за заявка. Енкодерите обработват независими 30-секундни сегменти, така че изчислителната работа на енкодера нараства линейно с дължината. Всяка секунда аудио се превръща в 12,5 входни позиции на LLM.', '<strong>Паралелен експертен енкодер.</strong> Обучаем 32-слоен Transformer ASR енкодер (0,6 млрд.) работи успоредно със замразения модел Nemotron 3 Diarization (~100 млн., до 8 говорители). Активността на говорителите се добавя към ASR характеристиките на всеки 80 ms, така че LLM вижда кой кога е говорил.', '<strong>Хибриден MoE LLM.</strong> Nemotron 3.5 Lightning 30B-A3B: 23 Mamba-2, 23 MoE и 6 слоя за внимание. 128 експерта, маршрутизиране към най-добрите 6, 1 споделен експерт, ~3,5 млрд. активни параметъра. Споделен MTP слой подготвя токени за спекулативно декодиране.', '<strong>Текст + времеви маркери.</strong> LLM записва транскрипцията в стила, поискан от инструкцията. След това CTC адаптер с 50 млн. параметъра принудително подравнява думите към аудиото и предоставя времеви маркери на думите с посочени говорители.']; var cur=0,timer=null,nodes=R.querySelectorAll('.node'),D=document.getElementById('nt35d'),W=document.getElementById('nt35w'); function go(i){cur=(i+4)%4;nodes.forEach(function(n,k){n.classList.toggle('on',k===cur)});D.innerHTML=S[cur];W.style.width=((cur+1)*25)+'%';} nodes.forEach(function(n){n.addEventListener('click',function(){stop();go(+n.dataset.s)})}); document.getElementById('nt35next').onclick=function(){stop();go(cur+1)}; document.getElementById('nt35prev').onclick=function(){stop();go(cur-1)}; var pb=document.getElementById('nt35play'); function stop(){if(timer){clearInterval(timer);timer=null;pb.textContent=' Автоматично възпроизвеждане'}} pb.onclick=function(){if(timer){stop();return}pb.textContent='❚❚ Пауза';timer=setInterval(function(){go(cur+1)},2200)}; go(0); var B={ en:{d:[['Nemotron 3.5 Transcribe',4.71,1],['Qwen3-ASR-1.7B',4.94],['Canary-Qwen-2.5B',5.38],['Parakeet-TDT-0.6B-v3',5.58],['Whisper-large-v3',6.66]],m:8,n:'Среден WER (%) в 9-те публични английски набора Open ASR; по-ниското е по-добро. Базови резултати: резултатите в класацията от 21 октомври 2026 г., както са посочени в доклада на NVIDIA.'}, ml:{d:[['Nemotron 3.5 Transcribe',4.62,1],['Qwen3-ASR-1.7B',6.49],['Voxtral-Small-24B',6.52],['Whisper-large-v3',7.94]],m:9,n:'Среден WER (%) за 7 езика (de, fr, it, es, pt, nl, hi; за хинди се използва OIWER); по-ниското е по-добро. Базови резултати: резултатите в класацията от 2 октомври 2026 г.'}, lf:{d:[['Nemotron 3.5 Transcribe',10.98,1],['Parakeet-TDT-0.6B-v3',13.37],['Whisper-large-v3',13.92],['Canary-Qwen-2.5B',14.08]],m:16,n:'Среден WER (%) в категорията за дълги записи (Earnings-21, Earnings-22, CORAAL); по-ниското е по-добро.'}}; var curB='en',BB=document.getElementById('nt35bars'),BN=document.getElementById('nt35bn'); function drawBars(k){curB=k;var b=B[k];BB.innerHTML=b.d.map(function(r){return '<div class="bar'+(r[2]?' me':'')+'"><div class="lb">'+r[0]+'</div><div class="tr"><div class="fl" data-w="'+(r[1]/b.m*100)+'"></div></div><div class="v">'+r[1].toFixed(2)+'%</div></div>'}).join('');BN.textContent=b.n; setTimeout(function(){BB.querySelectorAll('.fl').forEach(function(f){f.style.width=f.dataset.w+'%'})},40);setTimeout(post,80);} R.querySelectorAll('[data-b]').forEach(function(c){c.addEventListener('click',function(){R.querySelectorAll('[data-b]').forEach(function(x){x.classList.remove('on')});c.classList.add('on');drawBars(c.dataset.b)})}); drawBars('en'); var P=[ ['Аудио транскрипция. Език: както е говорено.\nФормулировка: дословно, включително паразитни думи и повторения.\nФорматиране: пунктуация и главни букви.\nИзход: само транскрипция.','Ами, ъъ, пускането се премести за\nследващия вторник в три и половина.'], ['Аудио транскрипция. Език: както е говорено.\nФормулировка: пропуснете паразитните думи и случайните повторения.\nЧислата да бъдат в стандартна писмена форма.','Пускането се премести за\nследващия вторник в 3:30.'], ['Транскрибирайте с пунктуация и главни букви.\nКонтекстуални термини: Nemotron, NVFP4, DFlash2.','Тествахме Nemotron в NVFP4\nсъс спекулативния модел DFlash2.'], ['Транскрибирайте това аудио с пунктуация и главни букви.\nПоставете етикети на говорителите <spk:0> <spk:1> <spk:2> <spk:3>\nв транскрипцията.\n(+ времевите маркери са активирани в заявката)','<spk:0> Можем ли да пуснем в петък?\n<spk:1> Да, ако QA одобри.\n\nдуми: [{"word":"Можем","start":0.42,"end":0.58,"speaker":"spk:0"}, ...]'], ['Моля, преведете дадената реч на немски.','Пускането беше преместено за\nследващия вторник в 15:30 ч.']]; var PI=document.getElementById('nt35pi'),PO=document.getElementById('nt35po'),tt=null; function showP(i){PI.textContent=P[i][0];var s=P[i][1],k=0;PO.textContent='';if(tt)clearInterval(tt);tt=setInterval(function(){k+=2;PO.textContent=s.slice(0,k);if(k>=s.length){clearInterval(tt);post()}},16);setTimeout(post,60);} R.querySelectorAll('[data-p]').forEach(function(c){c.addEventListener('click',function(){R.querySelectorAll('[data-p]').forEach(function(x){x.classList.remove('on')});c.classList.add('on');showP(+c.dataset.p)})}); showP(0); R.querySelectorAll('.card').forEach(function(c){c.addEventListener('click',function(){R.querySelectorAll('.card').forEach(function(x){if(x!==c)x.classList.remove('on')});c.classList.toggle('on');setTimeout(post,380)})}); window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> </div> </body></html>">

Как се внедрява Nemotron 3.5 Transcribe?

Теглата се предлагат във формати BF16, FP8, NVFP4 и GGUF. Спекулативен модел DFlash2 е опционален. Лицензът OpenMDW-1.1 позволява комерсиална употреба.

Средите за изпълнение включват vLLM 0.32.0 с плъгина NeMo Speech, Transformers и SGLang-Omni 0.2.0. vLLM предоставя API, съвместим с OpenAI.

Основната скорост на модела на NVIDIA идва от неговия Nemotron Transcribe NIM. С NVFP4 и DFlash2 един RTX PRO 6000 Blackwell Server Edition транскрибира 2238 секунди аудио за секунда. Той връща 30-секунден клип за 0,13 секунди. Има обаче уловка: тези оптимизации за обслужване все още не са с отворен код. NVIDIA очаква пътят чрез vLLM в деня на пускането да бъде приблизително 2 пъти по-бавен. На 1 H100 в BF16 с MTP2 NVIDIA изчислява около 410 RTFx.

За дообучаване NVIDIA е тествала 17 задачи. Всяка е отнела около 0,5 до 2,3 GPU часа на един GB300.

Как се сравнява с други отворени ASR модели?

Функция	Nemotron 3.5 Transcribe	Qwen3-ASR-1.7B	Canary-Qwen-2.5B	Whisper-large-v3
Параметри	34 млрд. общо, ~4,3 млрд. активни	1,7 млрд.	2,5 млрд.	1,55 млрд.
Езици	40	30 + 22 китайски диалекта	Само английски	99 (HF етикет)
Максимално аудио за заявка	1 час	Не е посочено	40 s при обучението	30-секунден прозорец, сегментиране при дълги записи
Посочване на говорители	Вградено, до 8 говорители	Не е посочено	Не е посочено	Не е посочено
Времеви маркери на думите	Вградени (CTC адаптер)	Чрез отделен ForcedAligner-0.6B	Не е посочено	Да, на ниво дума
Лиценз	OpenMDW-1.1	Apache-2.0	CC-BY-4.0	Apache-2.0
English Open ASR, 9 публични набора (среден WER, по-ниското е по-добро)	4,71%	4,94%*	5,38%*	6,66%*
Среден WER в Open ASR според собствената карта на модела (по-ранен набор от класацията)	Не е посочено	5,76%	5,63%	7,44%
Multilingual Open ASR, 7 езика (среден WER)	4,62%	6,49%*	Неприложимо (само английски)	7,94%*
Референтен хардуер	1x H100 80 GB (BF16)	Не е посочено	Тестван на A6000, A100, RTX 5090	Не е посочено

*Резултатите на конкурентите в текущата класация с 9 набора са от доклада на NVIDIA, който цитира резултати от класацията на Hugging Face от октомври 2026 г. Наборът в класацията е променен, след като конкурентите са публикували собствените си карти, затова двата реда с WER не са взаимозаменяеми.

Основни изводи

Един отворен модел обработва транскрипции, говорители, времеви маркери и превод на 40 езика.
WER от 4,71% за английски е най-добрият резултат при моделите с отворени тегла; комерсиалните API все още са начело.
Около 4,3 млрд. активни параметъра; BF16 се побира в 1 H100, а NVFP4 — в RTX 5090.
Списък с обекти намалява WER на именуваните обекти от 12,21% на 2,20%.
Работи само офлайн; срещите на мандарин и смесването на езици остават слаби места.

Вижте техническия доклад, теглата на модела, страницата на проекта и демото на живо. Също така, можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Искате да си партнирате с нас за популяризиране на вашето GitHub хранилище ИЛИ Hugging Face страница ИЛИ продуктово представяне ИЛИ уебинар и т.н.? Свържете се с нас

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.