NVIDIA випустила Nemotron 3.5 Transcribe: відкриту MoE-модель на 30 млрд параметрів для транскрибування 40 мов із ~4 млрд активних параметрів

NVIDIA випустила Nemotron 3.5 Transcribe — мовну модель мовлення з відкритими вагами, створену для транскрипції. Одна модель підтримує 40 мов і записи тривалістю до 1 години. Текстова інструкція визначає стиль результату для кожного запиту. Доступні дослівний, письмовий, із зазначенням мовців, контекстний і перекладений формати. Для розробників вона може замінити окремі інструменти ASR, діаризації та вирівнювання.

Коротко

Розмір: 34 млрд параметрів загалом і близько 4,3 млрд активних параметрів; контекст у 65 536 токенів; аудіо тривалістю до 1 години.
Працює на: 1x H100 80 ГБ у BF16. Доступні контрольні точки FP8 (близько 35 ГБ) і NVFP4 (близько 21 ГБ); NVFP4 працює на RTX 5090. Файли GGUF призначені для NeMo-Speech.cpp.
Продуктивність: найкраща модель із відкритими вагами в англомовному та багатомовному Open ASR Leaderboards; провідні комерційні API досі випереджають її.
Найкращий результат: середній WER 4,71% на 9 загальнодоступних англомовних наборах Open ASR (наступна відкрита модель: 4,94%).
Найгірший результат: cpCER 34,95% на далекопольових нарадах мандаринською мовою в AliMeeting.
Підсумок: найкраще — одна відкрита модель охоплює транскрипти, мітки мовців, часові позначки та переклад. Найгірше — лише офлайн-робота й низька точність на нарадах мандаринською.

Що таке Nemotron 3.5 Transcribe?

Nemotron 3.5 Transcribe — це мовна модель із розширеними можливостями мовлення (SALM) від NVIDIA, яка перетворює аудіо та інструкції на текст. Аудіокодер передає вбудовування декодеру LLM, завдяки чому транскрипцію можна керувати за допомогою підказок. У технічному дослідницькому звіті NVIDIA стверджує, що не існує єдиного правильного транскрипту. Написання чисел, слова-паразити та терміни певної галузі залежать від того, хто читатиме результат. NVIDIA позиціонує модель як спеціалізовану для транскрипції, а не як універсального помічника.

Як працює архітектура?

Вона складається з трьох частин:

Паралельний експертний кодер: навчуваний Transformer-кодер ASR на 0,6 млрд параметрів працює паралельно із замороженою моделлю Nemotron 3 Diarization. Діаризатор відстежує до 8 мовців. Активність мовців додається до ознак ASR кожні 80 мс. Тому LLM бачить, хто і коли говорив, без змін в архітектурі.
Базова LLM: Nemotron 3.5 Lightning 30B-A3B — гібридна Mamba-Transformer MoE. Вона має 52 шари: 23 Mamba-2, 23 MoE і лише 6 attention-шарів. Кожен MoE-шар спрямовує дані до 6 із 128 експертів і 1 спільного експерта. Невелика кількість attention-шарів зменшує розмір KV-кешу для аудіо тривалістю до години.
Додаткові компоненти: спільний шар багатотокенного прогнозування (MTP) створює чернетку токенів для спекулятивного декодування. CTC-адаптер із 50 млн параметрів вирівнює готовий транскрипт з аудіо для отримання часових позначок слів.

Назва моделі містить 30B-A4B, але контрольна точка має близько 34 млрд параметрів. Додаткова вага припадає на модуль MTP обсягом 1,3 млрд параметрів і аудіокомпоненти.

Навчання складалося з 1 етапу контрольованого донавчання на 256 графічних процесорах H100 протягом 28 500 кроків. Після цього відбувся короткий етап RL: 400 оновлень GSPO із винагородою, що дорівнює 1 мінус WER. Модель отримала близько 1,72 млн унікальних годин аудіо, або 6,5 млн годин із повторами.

Які результати вона показує на бенчмарках?

Усі наведені нижче показники NVIDIA самостійно подала у технічному звіті.

English Open ASR (9 загальнодоступних наборів): середній WER 4,71%. Наступна відкрита модель, Qwen3-ASR-1.7B, отримує 4,94%. Сім комерційних систем досі випереджають її; найкращий результат у OtterAI speech-v3.1 — 3,88%.
Multilingual Open ASR (7 мов): середній WER 4,62% проти 6,49% у Qwen3-ASR-1.7B. ElevenLabs Scribe v2 досягає 3,56%.
ASR для довгих записів: середній WER 10,98% проти 13,37% у Parakeet-TDT-0.6B-v3.
Кілька мовців, повні сесії: середній cpWER 15,80% проти 16,83% у DiCoW v3.3 з DiariZen. NVIDIA заявляє, що це перша SALM, яка перевершила каскадні системи в цьому тесті.
Контекстний ASR: список сутностей зменшує WER іменованих сутностей у ContextASR-Bench із 12,21% до 2,20%.

Автовідтворення</button> </div> </div> <div class="pane" id="p2"> <div class="seg"> <button class="chip on" data-b="en">English Open ASR</button> <button class="chip" data-b="ml">Multilingual Open ASR</button> <button class="chip" data-b="lf">Long-form</button> </div> <div id="nt35bars"></div> <p class="note" id="nt35bn"></p> </div> <div class="pane" id="p3"> <p class="note" style="margin:0 0 10px!important">1 контрольна точка, різні інструкції. Натисніть стиль, щоб переглянути структуру запиту та форму результату (ілюстрація, а не приклад роботи моделі).</p> <div class="seg" id="nt35ps"> <button class="chip on" data-p="0">Дослівний</button> <button class="chip" data-p="1">Письмовий</button> <button class="chip" data-p="2">Контекстні терміни</button> <button class="chip" data-p="3">Мовці</button> <button class="chip" data-p="4">Переклад</button> </div> <div class="out"><div class="lbl">Інструкція</div><pre><code id="nt35pi"></code></pre></div> <div class="out"><div class="lbl">Форма результату</div><pre><code id="nt35po"></code></pre></div> </div> <div class="pane" id="p4"> <div class="grid2"> <div class="card on"><h4>BF16</h4><div class="big">67.5 GB</div><p>Еталонні ваги · 1x H100 80 GB</p><div class="more">Ampere, Hopper і Blackwell. NVIDIA оцінює приблизно 410 RTFx на 1 H100 із MTP2 (пакетний англомовний ASR).</div></div> <div class="card"><h4>FP8</h4><div class="big">~35 GB</div><p>Ada Lovelace, Hopper, Blackwell</p><div class="more">У середньому рівень помилок на 1,0% вищий у відносному вираженні. NVIDIA рекомендує цей формат, коли найважливішою є точність для неанглійських мов.</div></div> <div class="card"><h4>NVFP4</h4><div class="big">~21 GB</div><p>Лише Blackwell · працює на RTX 5090</p><div class="more">У середньому рівень помилок на 3,6% вищий у відносному вираженні. Найкращий варіант, коли головним обмеженням є пам’ять або пропускна здатність.</div></div> <div class="card"><h4>Швидкість NIM</h4><div class="big">2,238x</div><p>У реальному часі на 1 RTX PRO 6000 Blackwell</p><div class="more">NVFP4 + DFlash2 у Nemotron Transcribe NIM; 30-секундний фрагмент за 0,13 с. Ці оптимізації обслуговування поки не мають відкритого коду.</div></div> </div> <p class="note">Середовища виконання: vLLM 0.32.0 + плагін NeMo Speech, Hugging Face Transformers, SGLang-Omni 0.2.0, GGML (NeMo-Speech.cpp). Ліцензія: OpenMDW-1.1.</p> </div> <div class="pane" id="p5"> <div class="row"><div class="ic up">+</div><div><b>Найкращий ASR із відкритими вагами:</b> середній WER 4,71% для англійської та 4,62% для багатомовного режиму в Open ASR Leaderboards.</div></div> <div class="row"><div class="ic up">+</div><div><b>Наради:</b> середній cpWER 15,80% для повних сесій — кращий результат, ніж 16,83% у DiCoW v3.3 + DiariZen.</div></div> <div class="row"><div class="ic up">+</div><div><b>Контекст:</b> список сутностей зменшує WER іменованих сутностей у ContextASR-Bench із 12,21% до 2,20%.</div></div> <div class="row"><div class="ic dn">!</div><div><b>Відставання від комерційних систем:</b> OtterAI speech-v3.1 досягає 3,88% WER для англійської; ElevenLabs Scribe v2 — 3,56% для багатомовного режиму.</div></div> <div class="row"><div class="ic dn">!</div><div><b>Наради мандаринською:</b> cpCER 32,91% на AISHELL-4 і 34,95% на AliMeeting.</div></div> <div class="row"><div class="ic dn">!</div><div><b>Лише офлайн:</b> це не потоковий сервіс ASR; vLLM у день релізу приблизно вдвічі повільніший за NIM.</div></div> </div> <div class="ft"><span>Джерело: технічний звіт і картка моделі NVIDIA (дані самої компанії), жовтень 2026 року</span><span class="br">© Marktechpost</span></div> <script> (function(){ var R=document.getElementById('mtp-nt35'); function post(){try{parent.postMessage({mtpEmbed:'nt35',h:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.addEventListener('click',function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')}); R.querySelectorAll('.pane').forEach(function(x){x.classList.remove('on')}); t.classList.add('on');document.getElementById(t.dataset.t).classList.add('on'); if(t.dataset.t==='p2')drawBars(curB);setTimeout(post,60);setTimeout(post,500);});}); var S=[ '<strong>Аудіо на вході.</strong> Модель приймає одноканальне аудіо з частотою 16 кГц, до 1 години на один запит. Кодери обробляють незалежні 30-секундні фрагменти, тому обчислення для кодера зростають лінійно зі збільшенням тривалості. Кожна секунда аудіо перетворюється на 12,5 вхідних позицій LLM.', '<strong>Паралельний експертний кодер.</strong> Навчуваний 32-шаровий Transformer-кодер ASR (0,6 млрд параметрів) працює паралельно із замороженою моделлю Nemotron 3 Diarization (~100 млн параметрів, до 8 мовців). Активність мовців додається до ознак ASR кожні 80 мс, тому LLM бачить, хто і коли говорив.', '<strong>Гібридна MoE LLM.</strong> Nemotron 3.5 Lightning 30B-A3B: 23 шари Mamba-2, 23 MoE і 6 attention-шарів. 128 експертів, маршрутизація до 6 найкращих, 1 спільний експерт, ~3,5 млрд активних параметрів. Спільний шар MTP створює чернетку токенів для спекулятивного декодування.', '<strong>Текст + часові позначки.</strong> LLM записує транскрипт у стилі, якого вимагає інструкція. Потім CTC-адаптер із 50 млн параметрів примусово вирівнює слова з аудіо, створюючи часові позначки слів із зазначенням мовців.']; var cur=0,timer=null,nodes=R.querySelectorAll('.node'),D=document.getElementById('nt35d'),W=document.getElementById('nt35w'); function go(i){cur=(i+4)%4;nodes.forEach(function(n,k){n.classList.toggle('on',k===cur)});D.innerHTML=S[cur];W.style.width=((cur+1)*25)+'%';} nodes.forEach(function(n){n.addEventListener('click',function(){stop();go(+n.dataset.s)})}); document.getElementById('nt35next').onclick=function(){stop();go(cur+1)}; document.getElementById('nt35prev').onclick=function(){stop();go(cur-1)}; var pb=document.getElementById('nt35play'); function stop(){if(timer){clearInterval(timer);timer=null;pb.textContent=' Автовідтворення'}} pb.onclick=function(){if(timer){stop();return}pb.textContent='❚❚ Пауза';timer=setInterval(function(){go(cur+1)},2200)}; go(0); var B={ en:{d:[['Nemotron 3.5 Transcribe',4.71,1],['Qwen3-ASR-1.7B',4.94],['Canary-Qwen-2.5B',5.38],['Parakeet-TDT-0.6B-v3',5.58],['Whisper-large-v3',6.66]],m:8,n:'Середній WER (%) на 9 загальнодоступних англомовних наборах Open ASR; менше — краще. Базові показники: результати таблиці лідерів станом на 21 жовтня 2026 року, наведені у звіті NVIDIA.'}, ml:{d:[['Nemotron 3.5 Transcribe',4.62,1],['Qwen3-ASR-1.7B',6.49],['Voxtral-Small-24B',6.52],['Whisper-large-v3',7.94]],m:9,n:'Середній WER (%) для 7 мов (de, fr, it, es, pt, nl, hi; для гінді використовується OIWER); менше — краще. Базові показники: результати таблиці лідерів станом на 2 жовтня 2026 року.'}, lf:{d:[['Nemotron 3.5 Transcribe',10.98,1],['Parakeet-TDT-0.6B-v3',13.37],['Whisper-large-v3',13.92],['Canary-Qwen-2.5B',14.08]],m:16,n:'Середній WER (%) у треку довгих записів (Earnings-21, Earnings-22, CORAAL); менше — краще.'}}; var curB='en',BB=document.getElementById('nt35bars'),BN=document.getElementById('nt35bn'); function drawBars(k){curB=k;var b=B[k];BB.innerHTML=b.d.map(function(r){return '<div class="bar'+(r[2]?' me':'')+'"><div class="lb">'+r[0]+'</div><div class="tr"><div class="fl" data-w="'+(r[1]/b.m*100)+'"></div></div><div class="v">'+r[1].toFixed(2)+'%</div></div>'}).join('');BN.textContent=b.n; setTimeout(function(){BB.querySelectorAll('.fl').forEach(function(f){f.style.width=f.dataset.w+'%'})},40);setTimeout(post,80);} R.querySelectorAll('[data-b]').forEach(function(c){c.addEventListener('click',function(){R.querySelectorAll('[data-b]').forEach(function(x){x.classList.remove('on')});c.classList.add('on');drawBars(c.dataset.b)})}); drawBars('en'); var P=[ ['Транскрипція аудіо. Мова: як у записі.\nФормулювання: дослівно, включно зі словами-паразитами та повторами.\nФорматування: пунктуація та великі літери.\nРезультат: лише транскрипт.','Отже, е-е, запуск перенесли на\nнаступний вівторок о третій тридцять.'], ['Транскрипція аудіо. Мова: як у записі.\nФормулювання: вилучити слова-паразити та випадкові повтори.\nЧисла у стандартній письмовій формі.','Отже, запуск перенесли на\nнаступний вівторок о 3:30.'], ['Транскрибуйте з пунктуацією та великими літерами.\nКонтекстні терміни: Nemotron, NVFP4, DFlash2.','Ми протестували Nemotron у NVFP4\nіз чернетковою моделлю DFlash2.'], ['Транскрибуйте це аудіо з пунктуацією та великими літерами.\nДодайте до транскрипції мітки мовців <spk:0> <spk:1> <spk:2> <spk:3>\n(+ часові позначки ввімкнено в запиті)','<spk:0> Чи можемо ми відвантажити в п’ятницю?\n<spk:1> Так, якщо QA схвалить.\n\nслова: [{"word":"Can","start":0.42,"end":0.58,"speaker":"spk:0"}, ...]'], ['Будь ласка, перекладіть подане мовлення німецькою.','Запуск перенесли на наступний\nвівторок о 15:30.']]; var PI=document.getElementById('nt35pi'),PO=document.getElementById('nt35po'),tt=null; function showP(i){PI.textContent=P[i][0];var s=P[i][1],k=0;PO.textContent='';if(tt)clearInterval(tt);tt=setInterval(function(){k+=2;PO.textContent=s.slice(0,k);if(k>=s.length){clearInterval(tt);post()}},16);setTimeout(post,60);} R.querySelectorAll('[data-p]').forEach(function(c){c.addEventListener('click',function(){R.querySelectorAll('[data-p]').forEach(function(x){x.classList.remove('on')});c.classList.add('on');showP(+c.dataset.p)})}); showP(0); R.querySelectorAll('.card').forEach(function(c){c.addEventListener('click',function(){R.querySelectorAll('.card').forEach(function(x){if(x!==c)x.classList.remove('on')});c.classList.toggle('on');setTimeout(post,380)})}); window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> </div> </body></html>">

Як розгорнути Nemotron 3.5 Transcribe?

Ваги доступні у форматах BF16, FP8, NVFP4 і GGUF. Чернеткова модель DFlash2 є необов’язковою. Ліцензія OpenMDW-1.1 дозволяє комерційне використання.

Середовища виконання включають vLLM 0.32.0 із плагіном NeMo Speech, Transformers і SGLang-Omni 0.2.0. vLLM надає API, сумісний з OpenAI.

Основна швидкість моделі NVIDIA забезпечується її Nemotron Transcribe NIM. Завдяки NVFP4 і DFlash2 один RTX PRO 6000 Blackwell Server Edition транскрибує 2 238 секунд аудіо за секунду. 30-секундний фрагмент обробляється за 0,13 секунди. Але є нюанс: ці оптимізації обслуговування поки не мають відкритого коду. NVIDIA очікує, що шлях через vLLM у день релізу буде приблизно вдвічі повільнішим. На 1 H100 у BF16 із MTP2 NVIDIA оцінює швидкість приблизно у 410 RTFx.

Для донавчання NVIDIA протестувала 17 завдань. Кожне потребувало приблизно від 0,5 до 2,3 GPU-години на одному GB300.

Як вона порівнюється з іншими відкритими моделями ASR?

Функція	Nemotron 3.5 Transcribe	Qwen3-ASR-1.7B	Canary-Qwen-2.5B	Whisper-large-v3
Параметри	34 млрд загалом, ~4,3 млрд активних	1,7 млрд	2,5 млрд	1,55 млрд
Мови	40	30 + 22 китайські діалекти	Лише англійська	99 (мітка HF)
Максимальне аудіо на запит	1 година	Не розкрито	40 с у навчанні	Вікно 30 с, довгі записи розбиваються на фрагменти
Ідентифікація мовців	Вбудована, до 8 мовців	Не вказано	Не вказано	Не вказано
Часові позначки слів	Вбудовані (CTC-адаптер)	Через окремий ForcedAligner-0.6B	Не вказано	Так, на рівні слів
Ліцензія	OpenMDW-1.1	Apache-2.0	CC-BY-4.0	Apache-2.0
English Open ASR, 9 загальнодоступних наборів (середній WER, менше — краще)	4,71%	4,94%*	5,38%*	6,66%*
Середній WER Open ASR у власній картці моделі (попередній набір таблиці лідерів)	Не повідомляється	5,76%	5,63%	7,44%
Multilingual Open ASR, 7 мов (середній WER)	4,62%	6,49%*	Не застосовується (лише англійська)	7,94%*
Еталонне обладнання	1x H100 80 ГБ (BF16)	Не розкрито	Тестувалася на A6000, A100, RTX 5090	Не розкрито

*Показники конкурентів у поточній таблиці лідерів із 9 наборів походять зі звіту NVIDIA, який посилається на результати таблиці лідерів Hugging Face за жовтень 2026 року. Набір даних таблиці лідерів змінився після публікації власних карток конкурентами, тому два рядки з WER не можна безпосередньо порівнювати.

Ключові висновки

Одна відкрита модель обробляє транскрипти, мовців, часові позначки та переклад 40 мовами.
WER 4,71% для англійської — найкращий показник серед моделей із відкритими вагами; комерційні API досі лідирують.
Близько 4,3 млрд активних параметрів; BF16 працює на 1 H100, NVFP4 — на RTX 5090.
Список сутностей зменшує WER іменованих сутностей із 12,21% до 2,20%.
Лише офлайн; наради мандаринською та перемикання між мовами залишаються слабкими місцями.

Ознайомтеся з технічним звітом, вагами моделі, сторінкою проєкту і демоверсією. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150k+ ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібна співпраця з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, запуску продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.