NVIDIA Nemotron 3.5 Transcribe і Granary v2: інтелектуальна багатомовна транскрипція, яку можна задавати за допомогою промптів і адаптувати

Одна відкрита модель для багатомовної транскрипції, атрибуції мовців, перекладу й запитань до аудіо з найкращими результатами в рейтингах, а також відкритий конвеєр даних Granary v2 і рецепти донавчання для її адаптації.

Транскрипт може містити кожне вимовлене слово, але водночас залишати користувачів або застосунки без відповіді на запитання, хто що сказав, як це перекласти або як форматувати специфічну для певної галузі термінологію. Багатомовні дзвінки, динамічні зустрічі та медична диктовка потребують різних результатів: перекладу, міток мовців або правильного написання медичних термінів.

NVIDIA Nemotron 3.5 Transcribe — це модель із відкритими вагами, якою можна керувати за допомогою підказок і яка перетворює записане мовлення на корисний текст. Тепер вона доступна на Hugging Face і ModelScope. Вона об’єднує транскрипцію, атрибуцію мовців (діаризацію), переклад і відповіді на запитання до аудіо в одному чекпойнті: транскрибує 40 мов, перекладає 31 із них англійською або з англійської та визначає мовців у 13 мовах. Модель обробляє записи тривалістю до години й позначає до восьми мовців. Розробники можуть керувати результатом природною мовою, обирати місце обробки аудіо та адаптувати розпізнавання до галузевої лексики й акцентів.

Transcribe посідає перше місце серед моделей із відкритими вагами в рейтингу Hugging Face Open ASR Leaderboard для англійської мови й перебуває на фронтирі співвідношення точності та кількості активних параметрів за даними Artificial Analysis. Для атрибуції мовців модель демонструє найнижчий рівень помилок у рейтингу діаризації David AI для 21 мови та посідає перше місце у порівнянні VoiceArena 14 систем. Вона працює на одному графічному процесорі NVIDIA — від DGX Spark до дата-центрових систем Blackwell.

Багатомовні дані Granary v2 (доступні на Hugging Face і ModelScope) та багаторазово використовуваний конвеєр підготовки разом із інструментами донавчання NeMo Speech поширюють контроль за допомогою підказок на етап навчання: розробники можуть визначити потрібну письмову форму й адаптувати модель до мовлення, з яким стикаються їхні застосунки. У медичному прикладі донавчання зменшило частоту помилок у словах (WER) на відкладених мовцях на 45,8% порівняно з найкращою підказкою.

Керуйте транскрипцією й аналізом природною мовою

Один і той самий чекпойнт може перетворити запис зустрічі на різні результати залежно від інструкції:

• «Транскрибуй цей запис і познач кожного мовця».
• «Переклади це аудіо англійською».
• «Які рішення було ухвалено на цій зустрічі?»

Перегляньте модель у дії у відео нижче, де вона працює з класичною сценою з комедії 1940 року «Його дівчина П’ятниця» — фільму, відомого стрімкими діалогами з численними перекриваннями реплік.

Nemotron 3.5 Transcribe створює субтитри до сцени з фільму «Його дівчина П’ятниця» (1940) і позначає мовців, зокрема в перекриваних репліках.

Для незнайомих термінів спочатку спробуйте контекст, а вже потім навчання. Наприклад, у медичному середовищі:

Транскрибуй цю медичну дискусію мовою оригіналу. Можливі терміни: HbA1c, метформін. Використовуй ці терміни лише тоді, коли їх підтверджує аудіо. Зберігай стандартне медичне написання й записуй числа у звичайній письмовій формі.

У картці моделі наведено рекомендовані пресети, зокрема міркування для запитань до аудіо, а також повний посібник із підказок і матрицю завдань та мов: підтримка мов відрізняється залежно від завдання, а відповіді на запитання до аудіо навчалися англійською. Також підтримуються часові мітки на рівні слів. Як і для будь-якої мовної моделі, перевіряйте імена, зміни мовців і відповіді за записом.

Від живих занять до довговічних уроків. Agora, чия платформа голосового та відеозв’язку в реальному часі забезпечує живі розмови в застосунках, використала часові мітки на рівні слів у демонстрації для класу: Nemotron 3.5 Transcribe перетворює запис уроку на транскрипт, показаний поруч із повтором, щоб учні могли бачити, що саме й коли було сказано. У блозі Agora описано процес його створення.

Перемоги в рейтингах — від транскрипції до атрибуції мовців

Серед моделей із відкритими вагами Transcribe лідирує в розпізнаванні сказаного, а в ідентифікації мовців беззаперечно очолює два бенчмарки.

Hugging Face Open ASR Leaderboard. Цей рейтинг вимірює точність транскрипції за частотою помилок у словах (WER) на загальнодоступних тестових наборах у трьох категоріях:

1. Англійська: перше місце серед моделей із відкритими вагами із середнім WER 5,33% (рисунок 1).
2. Багатомовність: середній WER 4,62% для семи мов — найнижчий серед оцінених моделей із відкритими вагами в порівнянні Open ASR у картці моделі.
3. Довгі записи: середній WER 10,98%, також найнижчий у цьому порівнянні.

Рисунок 1. Nemotron 3.5 Transcribe посідає перше місце серед моделей із відкритими вагами в рейтингу Hugging Face Open ASR Leaderboard (англійська мова) із середнім WER 5,33%; моделі API виключено. Нижчий WER означає менше помилок транскрипції.

Рейтинг Speech-to-Text від Artificial Analysis. Artificial Analysis незалежно ранжує моделі перетворення мовлення на текст за AA-WER — своїм індексом частоти помилок у словах. Nemotron 3.5 Transcribe ділить перше місце серед моделей із відкритими вагами з показником AA-WER 2,8%, маючи близько 4 млрд активних параметрів проти 24 млрд у моделі, з якою ділить це місце. У AA-AgentTalk — наборі відкладених даних голосу агентів, що становить 50% індексу AA-WER, — Transcribe демонструє WER 1,8% проти 2,3% у наступної найкращої моделі з відкритими вагами. Transcribe поєднує мовленнєвий енкодер із гібридною мовною моделлю Mamba–Transformer типу mixture-of-experts, тому для кожного токена активними є лише близько 4 млрд із 30 млрд параметрів. Це розміщує модель на фронтирі моделей із відкритими вагами Artificial Analysis за співвідношенням точності та активних параметрів. На графіку всіх моделей AA вона випереджає кілька широко використовуваних пропрієтарних API мовлення.

Рисунок 2. Провідна точність AA приблизно з однією шостою активних параметрів: Nemotron 3.5 Transcribe досягає AA-WER 2,80% із приблизно 4 млрд активних параметрів.

Атрибуція мовців різними мовами та в перекриваному мовленні. Сигнали мовців Sortformer надходять до мовної моделі разом з акустичними ознаками, тож Transcribe може позначати кожну репліку під час генерації, а не покладатися лише на подальший етап приєднання мовців до слів.

Рейтинг David AI DAI-ASR-I18N. У треку David AI DAI-ASR-I18N для комбінованої транскрипції та атрибуції мовців Transcribe посідає перше місце серед оцінених моделей із відкритими вагами й друге місце загалом. У треку діаризації бенчмарку, який оцінює, хто й коли говорив у 21 мові, модель має найнижчий рівень помилок діаризації серед 14 протестованих систем, трохи випереджаючи спеціалізовану модель NVIDIA Nemotron 3 Diarization.

Рисунок 3. Моделі NVIDIA посідають перші два місця в багатомовному рейтингу діаризації David AI: Nemotron 3.5 Transcribe має найнижчий загальний рівень помилок діаризації (DER) — 18,26% для 21 мови, за нею йде Nemotron 3 Diarization із 18,38%. DER вимірює помилки часу мовців; нижче — краще.

VoiceArena Diarization-Bench. В англомовному бенчмарку повних сесій VoiceArena Transcribe демонструє найнижчий конкатенований WER із мінімальною перестановкою (cpWER) серед 14 систем і посідає перше місце як для очного, так і для онлайн-формату. Вона також видаляє найменше слів: видалення становлять 8,32% еталонних слів проти медіанного значення близько 31%.

Рисунок 4. Моделі NVIDIA посідають перші два місця у порівнянні VoiceArena 14 систем: Nemotron 3.5 Transcribe лідирує з cpWER 32,4%, за нею йде NVIDIA Multitalker Parakeet із Nemotron 3 Diarization — 34,2%. Diarization-Bench v1 охоплює повні англомовні сесії, перекриване мовлення та 2–8 мовців. cpWER підраховує помилки слів після зіставлення міток мовців; нижче — краще.

Інші оцінювання. Оцінювання Ocular AI Converse-STT визначає Transcribe як найкращу відкриту модель. Рейтинг Voice of India від Josh Talks наводить результати Transcribe для індійських мов.

Працює від периферійних пристроїв до дата-центру. Transcribe працює на одному графічному процесорі NVIDIA — від Jetson AGX Thor і DGX Spark до дата-центрових графічних процесорів Blackwell. На одному графічному процесорі NVIDIA RTX PRO 6000 Blackwell Server Edition із точністю NVFP4 модель обробляє 100 годин аудіо менш ніж за три хвилини; вимірювання виконано на 30-секундних фрагментах за високої паралельності.

Запускайте чекпойнт за допомогою vLLM уже сьогодні або локально за допомогою NeMo-Speech.cpp. Transcribe призначена для записаного аудіо, а не для потокової обробки в реальному часі.

Спеціалізовані записи все одно можуть потребувати адаптації до галузевої лексики й правил оформлення транскриптів. Granary v2 і донавчання NeMo Speech вирішують це завдання, починаючи з даних, що лежать в основі Transcribe.

Granary v2: відкритий конвеєр підготовки даних, що лежить в основі Transcribe

Мовленнєва модель, якою можна керувати за допомогою підказок, потребує навчальних даних із чітко визначеними цілями форматування. Granary v2 є частиною колекції мовленнєвих моделей Nemotron на Hugging Face і ModelScope. Створений за допомогою NVIDIA NeMo Curator, його багаторазово використовуваний конвеєр підготував багатомовні мовленнєві дані, використані для навчання Nemotron 3.5 Transcribe, створивши узгоджені варіанти транскриптів, мітки завдань і доступні для перевірки метадані якості. Загальнодоступний маніфест охоплює 463 062 години для 48 мов і 16 джерельних корпусів — проти 25 мов у Granary v1. Ці цифри описують випуск набору даних, а не повний навчальний набір Transcribe чи ваги вибірки.

Granary v2 генерує три форми транскрипту для кожного запису (таблиця 1) — ті самі дослівний і очищений стилі, які розробники можуть запросити в Transcribe за допомогою підказки. Окрім транскрипції, конвеєр створює короткі описи аудіо, відновлення запозичених слів у кодовому перемиканні, пари «мовлення — запитання-відповідь», терміни контекстного упередження ASR і переклади з автоматичними оцінками якості.

Таблиця 1. Цілі навчання Granary v2 для тієї самої репліки.

Конвеєр складається з чотирьох багаторазово використовуваних етапів:

• 1. Підготовка аудіо (метадані): сегментує необроблене або довге аудіо, відстежує мовців упродовж усього запису та позначає акустичні події й мову. Джерела Granary v2 уже були сегментовані, тому в цьому випуску етап пропущено.
• 2. Транскрипція (ASR): спрямовує кожну мову до основної та резервної моделей ASR, переходячи до резервної, якщо основна не проходить перевірку на галюцинації. Еталонні транскрипти, створені людьми, допомагають зберігати перевірене написання, додаючи розмовні форми й заповнювачі пауз.
• 3. Генерація міток завдань (текст): створює варіанти транскриптів, а потім перевіряє швидкість символів, ознаки галюцинацій і узгодженість із моделлю або людським еталоном. Лише прийняті записи отримують терміни контекстного ASR і переклади.
• 4. Висока точність (HiFi): відфільтровує сегменти із шумом, обрізанням або кількома мовцями, залишаючи менший набір високоякісних записів для завдань за межами ASR. Для набору даних VoxPopuli це зменшило 354 тис. годин до 111 тис. годин для 22 європейських мов.

Рисунок 6. Конвеєр підготовки даних Granary v2: один приклад від необробленого аудіо через етапи «Метадані», ASR і «Текст» до навчального прикладу.

Розробники можуть запускати конвеєр NeMo Curator із бекендами Ray і NVIDIA Dynamo на власних записах або дозволених загальнодоступних корпусах чи використовувати загальнодоступні маніфести Granary v2. Маніфести містять три форми транскриптів — tn_raw, itn_raw та itn_clean, описані вище мітки, підказки сутностей, похідні пари інструкцій, походження даних і прапорець якості для кожного запису. Завантажуйте вихідне аудіо окремо відповідно до початкової ліцензії кожного корпусу та дотримуйтеся опублікованих умов випуску.

Адаптуйте розпізнавання до важливої для вас лексики

Почніть із підказки для набору розробки, у якій указано мову, писемність і формат транскрипту. У наведеному нижче прикладі зазначення в підказці англійської мови та латинського алфавіту зменшило WER на повному бенчмарку з 30,8% до 23,8%. Для галузевих помилок, що залишилися, робочий процес донавчання NeMo Speech поєднує репрезентативне мовлення з чітко визначеними письмовими цілями.

Медичний приклад ASR для NeMo Speech демонструє цей процес на відкритому бенчмарку Eka Care із записами індійських лікарів і студентів-медиків, який містить 3619 фрагментів і не має окремої навчальної частини. У дослідженні дані для адаптації створюються з генерованого медичного тексту та загальнодоступних каталогів ліків, після чого об’єднуються приблизно 153 години синтетичного мовлення, 29 годин англійського мовлення з акцентами з Common Voice і 63 години медичних записів із MultiMed.

Рисунок 7. На повному тестовому наборі індійського медичного мовлення Eka Care краща підказка зменшує WER із 30,8% до 23,8%, а донавчання — до 11,8%, тобто приблизно на 62% менше помилок транскрипції, ніж у моделі без додаткових налаштувань. Повний набір містить 855 фрагментів для налаштування, використаних для вибору підказки та чекпойнтів; наведені нижче результати на відкладених даних є точнішим тестом.

Синтетична генерація відокремлює письмову ціль від її усного відтворення: «HbA1c» є міткою, тоді як «H B A one C» передається синтезатору. Кілька голосів TTS розширюють різноманітність аудіо; реальні записи додають акценти й умови запису. Навчальний текст фільтрується за точними збігами та спільними послідовностями з восьми слів з еталонами бенчмарку.

Як і в явних цілях Granary v2, навчальні приклади варіюють цифри, пробіли в одиницях виміру, розгортання назв компаній і дефіси в назвах брендів, а інструкції визначають потрібну конвенцію. Деякі підказки містять списки термінів із майже правильними відволікаючими варіантами, тож модель навчається використовувати написання лише тоді, коли його підтверджує аудіо. Фінальна система застосовує одну фіксовану підказку-конвенцію й один прохід моделі без пошуку або постобробки транскрипту.

Рецепт навчає мовленнєвий енкодер і проєкцію та використовує LoRA для адаптації мовної моделі. У двох запусках застосовуються різні суміші даних; після об’єднання адаптерів вибрані чекпойнти рівномірно усереднюються в одну фінальну модель. Вибір чекпойнта ґрунтується на декодованих результатах набору розробки, а не лише на втраті під час навчання. Повна адаптація — від генерації тексту до оцінювання — тривала близько 14 годин роботи графічного процесора на одному NVIDIA GB300.

Галузеві покращення, виміряні на відкладених мовцях

У дослідженні бенчмарк розділено за мовцями на 855 фрагментів для налаштування, використаних для вибору підказки та чекпойнтів, і 2764 відкладені фрагменти, декодовані один раз для кожної фінальної системи. За допомогою конвеєра оцінювання KARMA Eka Care донавчання зменшує WER на відкладених даних із 22,44% для базової моделі з найкращою підказкою до 12,17% — на 45,8% відносно, що є найчіткішим свідченням узагальнення покращень на нових мовців. WER ключових слів зменшується з 9,2% до 6,5%, а семантичний WER — із 10,0% до 7,6%. На тих самих відкладених мовцях і з тим самим оцінювачем адаптована модель із WER 12,17% випереджає відкриту медичну спеціалізовану модель (13,79%) і широко використовувану універсальну ASR-модель (14,92%).

Для загальної англійської мови WER LibriSpeech test-clean дещо зростає — із 1,54% до 1,69%. Медична спеціалізована модель усе ще лідирує за точними збігами назв брендових ліків і діагностичних засобів; дослідження вказує, що наступним кроком мають стати реальні записи клініцистів, які вимовляють назви брендів. Для власної галузі зберігайте щонайменше 100 реальних розмічених фрагментів для вибору чекпойнта й оцінюйте типи сутностей, від яких залежить ваш застосунок, паралельно зі збереженням якості на загальному мовленні.

Приклад містить команди для відтворення кожного кроку. Посібники з донавчання охоплюють рецепти, вимоги до ресурсів та інструменти для навчання, експорту й оцінювання, зокрема ASR для нових мов і кодового перемикання. Супровідна навичка агента дає змогу кодувальному агенту виконувати робочий процес — від вибору базової моделі та перевірки даних до перевірки навчання, об’єднання адаптерів і оцінювання.

ModelScope також дає розробникам змогу донавчати Nemotron 3.5 Transcribe за допомогою фреймворку ms-swift для спеціалізованих мультимодальних застосунків.

Почніть роботу з Nemotron 3.5 Transcribe і Granary v2

Спробуйте Nemotron 3.5 Transcribe у демо Hugging Face, або в ModelScope Studios, а потім завантажте чекпойнт із Hugging Face чи ModelScope і запустіть його за допомогою посібника з розгортання vLLM.

Щоб не розміщувати модель самостійно, скористайтеся розміщеною кінцевою точкою від Baseten, DeepInfra або Simplismart.

Щоб адаптувати модель до власної галузі, почніть із маніфестів Granary v2 на Hugging Face або ModelScope та медичного прикладу ASR або доручіть кодувальному агенту виконати робочий процес за допомогою навички агента для донавчання.

Моделі та набори даних

• Чекпойнти моделей: NVIDIA Nemotron 3.5 Transcribe на Hugging Face, ModelScope | Інтерактивне демо на Hugging Face, ModelScope
• Розміщені кінцеві точки: Baseten, DeepInfra, Simplismart \
• Маніфести набору даних: маніфести Granary v2 на Hugging Face, ModelScope
• Набір високої точності: маніфести на Hugging Face, ModelScope | Space на Hugging Face

Репозиторії та посібники: NVIDIA NeMo Speech на GitHub | Конвеєр NeMo Curator Granary v2 | Посібник із розгортання vLLM | Посібник із донавчання Speech | Навичка агента для донавчання
*Блоги партнерів: Agora | Inflection AI | VoiceArena | Simplismart *
Локальний ШІ: Що нового в локальному ШІ на ПК, ноутбуках NVIDIA RTX і DGX Spark

Моделі, згадані в цій статті 2

Набори даних, згадані в цій статті 2

Простори, згадані в цій статті 2

Колекції, згадані в цій статті 1

Інші матеріали цього автора