NVIDIA Nemotron 3.5 Transcribe и Granary v2: интеллектуальная многоязычная транскрипция, которую можно задавать с помощью промптов и адаптировать

Одна открытая модель для многоязычной транскрипции, атрибуции говорящих, перевода и вопросов и ответов по аудио с ведущими результатами в рейтингах, а также открытый конвейер данных Granary v2 и рецепты дообучения для её адаптации.

Транскрипт может содержать каждое произнесённое слово, но при этом оставлять пользователей или приложения в сомнениях относительно того, кто что сказал, как это перевести или как оформить специализированную терминологию. Для многоязычных звонков, быстрых совещаний и медицинской диктовки нужны разные форматы вывода: перевод, метки говорящих или корректно написанные медицинские термины.

NVIDIA Nemotron 3.5 Transcribe — это модель с открытыми весами, которой можно управлять с помощью промптов и которая превращает записанную речь в полезный текст. Теперь она доступна на Hugging Face и ModelScope. Она объединяет в одном чекпойнте транскрипцию, атрибуцию говорящих (диаризацию), перевод и ответы на вопросы по аудио: транскрибирует 40 языков, переводит 31 из них на английский или с английского и определяет говорящих в 13 языках. Модель обрабатывает записи длительностью до часа и размечает до восьми говорящих. Разработчики могут задавать формат вывода на естественном языке, выбирать место обработки аудио и адаптировать распознавание к отраслевой лексике и акцентам.

Transcribe занимает первое место среди моделей с открытыми весами на английском языке в рейтинге Hugging Face Open ASR и находится на фронтире точности и числа активных параметров по версии Artificial Analysis. В атрибуции говорящих модель показывает самый низкий уровень ошибок в рейтинге диаризации David AI для 21 языка и занимает первое место в сравнении VoiceArena 14 систем. Модель работает на одном графическом процессоре NVIDIA — от DGX Spark до дата-центровых систем Blackwell.

Многоязычные данные Granary v2 (доступны на Hugging Face и ModelScope) и повторно используемый конвейер курирования вместе с инструментами дообучения NeMo Speech переносят управление на уровне промпта в обучение: разработчики могут задать необходимую письменную форму и адаптировать модель к речи, с которой сталкиваются их приложения. В исследовании медицинского случая дообучение снизило частоту ошибок в словах (WER) на отложенных данных говорящих на 45,8% относительно лучшего промпта.

Управляйте транскрипцией и анализом с помощью естественного языка

Один и тот же чекпойнт может превращать запись совещания в разные результаты в зависимости от инструкции:

• «Транскрибируй эту запись и обозначь каждого говорящего».
• «Переведи это аудио на английский».
• «Какие решения были приняты на этом совещании?»

Посмотрите модель в действии в видео ниже: она работает с классической сценой из комедии 1940 года «Его девушка Пятница» — фильма, известного стремительным диалогом с многочисленными наложениями реплик.

Nemotron 3.5 Transcribe транскрибирует сцену из фильма «Его девушка Пятница» (1940) и обозначает говорящих, включая перекрывающиеся реплики.

Для незнакомых терминов сначала попробуйте контекст, прежде чем переходить к обучению. Например, в медицинской сфере:

Транскрибируй это медицинское обсуждение на исходном языке. Возможные термины: HbA1c, metformin. Используй эти термины только при наличии подтверждения в аудио. Сохраняй стандартное написание медицинских терминов и записывай числа в обычной письменной форме.

В карточке модели приведены рекомендуемые пресеты, включая рассуждения для вопросов по аудио, а также полное руководство по промптам и матрица задач и языков: поддержка языков различается в зависимости от задачи, а ответы на вопросы по аудио обучены на английском языке. Также поддерживаются временные метки на уровне слов. Как и при работе с любой речевой моделью, проверяйте имена, смену говорящих и ответы по исходной записи.

От живых занятий к долговечным урокам. Agora, чья платформа голосового и видеосвязи в реальном времени обеспечивает живые разговоры в приложениях, использовала временные метки на уровне слов в демонстрации для класса: Nemotron 3.5 Transcribe превращает записанный урок в транскрипт, отображаемый рядом с повтором, чтобы учащиеся могли видеть, что и когда было сказано. В блоге Agora подробно описан процесс создания решения.

Победы в рейтингах — от транскрипции до атрибуции говорящих

Среди моделей с открытыми весами Transcribe лидирует по распознаванию сказанного, а в определении того, кто это сказал, безоговорочно возглавляет два бенчмарка атрибуции говорящих.

Рейтинг Hugging Face Open ASR. Рейтинг измеряет точность транскрипции по частоте ошибок в словах (WER) на общедоступных тестовых наборах в трёх категориях:

1. Английский: первое место среди моделей с открытыми весами со средним WER 5,33% (рисунок 1).
2. Многоязычная категория: средний WER 4,62% для семи языков — самый низкий среди оценённых моделей с открытыми весами в сравнении Open ASR, приведённом в карточке модели.
3. Длинные записи: средний WER 10,98%, также самый низкий в этом сравнении.

Рисунок 1. Nemotron 3.5 Transcribe занимает первое место среди моделей с открытыми весами в рейтинге Hugging Face Open ASR (английский язык) со средним WER 5,33%; модели API исключены. Чем ниже WER, тем меньше ошибок транскрипции.

Рейтинг Artificial Analysis Speech-to-Text. Artificial Analysis независимо ранжирует модели преобразования речи в текст по AA-WER — своему индексу частоты ошибок в словах. Nemotron 3.5 Transcribe делит первое место среди моделей с открытыми весами с показателем AA-WER 2,8%, имея около 4 млрд активных параметров против 24 млрд у модели, с которой она делит место. В AA-AgentTalk — отложенном наборе речи голосовых агентов, составляющем 50% индекса AA-WER, — Transcribe показывает WER 1,8% против 2,3% у следующей лучшей модели с открытыми весами. Transcribe объединяет речевой энкодер с гибридной языковой моделью Mamba–Transformer типа mixture-of-experts, поэтому на каждый токен активны лишь около 4 млрд из 30 млрд параметров. Это помещает модель на фронтир Artificial Analysis для моделей с открытыми весами по соотношению точности и числа активных параметров. На графике AA для всех моделей она опережает несколько широко используемых проприетарных API распознавания речи.

Рисунок 2. Лидирующая точность AA примерно при одной шестой числа активных параметров: Nemotron 3.5 Transcribe достигает AA-WER 2,80% при приблизительно 4 млрд активных параметров.

Атрибуция говорящих на разных языках и при перекрывающихся репликах. Сигналы Sortformer о говорящих поступают в языковую модель вместе с акустическими признаками, поэтому Transcribe может отмечать каждый фрагмент речи во время генерации, а не полагаться только на последующий этап, который прикрепляет говорящих к словам.

Рейтинг David AI DAI-ASR-I18N. В объединённой категории David AI DAI-ASR-I18N для транскрипции и атрибуции говорящих Transcribe занимает первое место среди оценённых моделей с открытыми весами и второе место в общем зачёте. В категории диаризации бенчмарка, где оценивается, кто и когда говорил на 21 языке, модель показывает самый низкий показатель ошибок диаризации среди 14 протестированных систем, немного опережая специализированную модель NVIDIA Nemotron 3 Diarization.

Рисунок 3. Модели NVIDIA занимают два первых места в многоязычном рейтинге диаризации David AI: Nemotron 3.5 Transcribe показывает самый низкий общий показатель ошибок диаризации (DER) — 18,26% на 21 языке, за ней следует Nemotron 3 Diarization с 18,38%. DER измеряет ошибки во времени говорения; меньшее значение лучше.

VoiceArena Diarization-Bench. В англоязычном бенчмарке VoiceArena для полноформатных сессий Transcribe показывает самый низкий показатель конкатенированной WER с минимальной перестановкой (cpWER) среди 14 систем и занимает первое место как в очном, так и в онлайн-режиме. Она также удаляет меньше всего слов: удаления составляют 8,32% эталонных слов против медианного значения около 31%.

Рисунок 4. Модели NVIDIA занимают два первых места в сравнении VoiceArena 14 систем: Nemotron 3.5 Transcribe лидирует с cpWER 32,4%, за ней следует NVIDIA Multitalker Parakeet с Nemotron 3 Diarization — 34,2%. Diarization-Bench v1 охватывает англоязычные полноформатные сессии, перекрывающуюся речь и от 2 до 8 говорящих. cpWER подсчитывает ошибки в словах после сопоставления меток говорящих; меньшее значение лучше.

Другие оценки. В оценке Converse-STT от Ocular AI Transcribe занимает первое место среди открытых моделей. В рейтинге Voice of India от Josh Talks представлены результаты Transcribe для индийских языков.

Работа от периферии до дата-центра. Transcribe работает на одном графическом процессоре NVIDIA — от Jetson AGX Thor и DGX Spark до дата-центровых графических процессоров Blackwell. На одном графическом процессоре NVIDIA RTX PRO 6000 Blackwell Server Edition с точностью NVFP4 модель обрабатывает 100 часов аудио менее чем за три минуты; измерение проводилось на 30-секундных фрагментах при высокой параллельности.

Используйте чекпойнт через vLLM уже сегодня или запускайте его локально с помощью NeMo-Speech.cpp. Transcribe предназначена для записанного аудио, а не для потоковой обработки в реальном времени.

Для специализированных записей может потребоваться адаптация к отраслевой лексике и правилам оформления транскрипта. Granary v2 и дообучение NeMo Speech решают эту задачу, начиная с данных, использованных для Transcribe.

Granary v2: открытый конвейер курирования данных, лежащий в основе Transcribe

Модели речи, управляемой промптами, нужны обучающие данные с однозначными целями форматирования. Granary v2 входит в коллекцию Nemotron speech на Hugging Face и ModelScope. Созданный с помощью NVIDIA NeMo Curator повторно используемый конвейер подготовил многоязычную речь для обучения Nemotron 3.5 Transcribe, создав согласованные варианты транскриптов, метки задач и проверяемые метаданные качества. Открытый манифест охватывает 463 062 часа в 48 языках и 16 исходных корпусах — против 25 языков в Granary v1. Эти цифры описывают выпуск набора данных, а не полную обучающую смесь Transcribe или веса её выборки.

Granary v2 создаёт для каждой записи три формы транскрипта (таблица 1) — те же дословный и очищенный стили, которые разработчики могут запросить у Transcribe с помощью промпта. Помимо транскрипции, конвейер создаёт краткие описания аудио, восстанавливает переключение кодов для заимствованных слов, формирует пары вопросов и ответов на основе речи, термины для контекстного смещения ASR и переводы с автоматическими оценками качества.

Таблица 1. Цели обучения Granary v2 для одной и той же реплики.

Конвейер состоит из четырёх повторно используемых этапов:

• 1. Подготовка аудио (метаданные): сегментирует необработанное или длинное аудио, отслеживает говорящих на протяжении всей записи и отмечает акустические события и язык. Источники Granary v2 уже были сегментированы, поэтому в этом выпуске этап пропущен.
• 2. Транскрипция (ASR): направляет каждый язык в основные и резервные модели ASR, переключаясь на резервную, если основная не проходит проверку на галлюцинации. Эталонные транскрипты, созданные людьми, помогают сохранять проверенное написание, добавляя разговорные формы и речевые запинки.
• 3. Генерация меток задач (текст): создаёт варианты транскрипта, затем проверяет скорость символов, признаки галлюцинаций и согласованность модели с эталоном человека. Только принятые записи получают термины для контекстного ASR и переводы.
• 4. Высокая точность (HiFi): отфильтровывает сегменты с шумом, клиппингом или несколькими говорящими, сохраняя меньший набор высококачественных записей для задач, выходящих за рамки ASR. Для набора VoxPopuli это сократило объём с 354 тыс. часов до 111 тыс. часов на 22 европейских языках.

Рисунок 6. Конвейер курирования данных Granary v2: один пример прослеживается от необработанного аудио через этапы метаданных, ASR и текста до обучающего примера.

Разработчики могут запускать конвейер NeMo Curator с бэкендами Ray и NVIDIA Dynamo на собственных записях или разрешённых общедоступных корпусах либо использовать общедоступные манифесты Granary v2. Манифесты включают три формы транскриптов — tn_raw, itn_raw и itn_clean, описанные выше метки, подсказки сущностей, производные пары инструкций, сведения о происхождении и флаг качества для каждой записи. Исходное аудио необходимо загружать отдельно в соответствии с исходной лицензией каждого корпуса и опубликованными условиями выпуска.

Адаптируйте распознавание к важной для вас лексике

Начните с промпта для набора разработки, в котором указаны язык, письменность и формат транскрипта. В приведённом ниже исследовании указание в промпте английского языка и латинского алфавита снизило WER на полном бенчмарке с 30,8% до 23,8%. Для сохраняющихся отраслевых ошибок рабочий процесс дообучения NeMo Speech объединяет репрезентативную речь с явными письменными целями.

Исследование медицинского ASR в NeMo Speech демонстрирует эту последовательность на открытом бенчмарке Eka Care с записями индийских врачей и студентов-медиков: он содержит 3619 фрагментов и не имеет выделенной обучающей выборки. В исследовании данные для адаптации создаются из сгенерированных медицинских текстов и общедоступных каталогов лекарств, после чего объединяются около 153 часов синтетической речи, 29 часов акцентированной английской речи из Common Voice и 63 часа медицинских записей из MultiMed.

Рисунок 7. На полном тестовом наборе медицинской речи индийской компании Eka Care улучшенный промпт снижает WER с 30,8% до 23,8%, а дообучение — до 11,8%, то есть примерно на 62% сокращает число ошибок транскрипции по сравнению с моделью без настройки. Полный набор включает 855 фрагментов для настройки, использованных при выборе промпта и чекпойнтов; приведённые ниже результаты на отложенных данных относятся к более чистому тесту.

Синтетическая генерация отделяет письменную цель от её произнесённого варианта: «HbA1c» выступает меткой, а «H B A one C» передаётся синтезатору. Несколько голосов TTS расширяют разнообразие аудио; реальные записи добавляют акценты и различные условия записи. Обучающий текст фильтруется по точным совпадениям и общим последовательностям из восьми слов с эталонными фрагментами бенчмарка.

Как и в случае с явными целями Granary v2, обучающие примеры варьируют цифры, пробелы в единицах измерения, раскрытие названий компаний и дефисы в названиях брендов, а инструкции указывают требуемое соглашение. Некоторые промпты содержат списки терминов с похожими отвлекающими вариантами, чтобы модель училась использовать написание только при подтверждении в аудио. Итоговая система использует один фиксированный промпт с правилами и один проход модели, без поиска и постобработки транскрипта.

В рецепте обучаются речевой энкодер и проекция, а для адаптации языковой модели используется LoRA. В двух запусках применяются разные смеси данных; после объединения адаптеров выбранные чекпойнты равномерно усредняются в одну финальную модель. Выбор чекпойнта выполняется по декодированным результатам на наборе разработки, а не только по обучающей функции потерь. Полная адаптация — от генерации текста до оценки — заняла около 14 часов работы на GPU NVIDIA GB300.

Улучшения в предметной области, измеренные на отложенных данных говорящих

В исследовании бенчмарк разделён по говорящим на 855 фрагментов для настройки, использованных при выборе промпта и чекпойнтов, и 2764 отложенных фрагмента, декодированных по одному разу для каждой финальной системы. С помощью конвейера оценки KARMA компании Eka Care дообучение снижает WER на отложенных данных с 22,44% для базовой модели с лучшим промптом до 12,17% — это относительное сокращение на 45,8% и наиболее убедительное свидетельство обобщения улучшений на новых говорящих. WER по ключевым словам снижается с 9,2% до 6,5%, а семантический WER — с 10,0% до 7,6%. На тех же отложенных данных говорящих и с тем же оценщиком показатель адаптированной модели 12,17% превосходит открытую медицинскую специализированную модель (13,79%) и широко используемую универсальную ASR-модель (14,92%).

На общем английском языке WER LibriSpeech test-clean немного повышается — с 1,54% до 1,69%. Специализированная медицинская модель по-прежнему лидирует по точному совпадению названий брендовых лекарств и диагностических терминов; в исследовании отмечается, что следующим шагом должны стать реальные записи врачей, произносящих названия брендов. Для собственной предметной области сохраняйте не менее 100 реальных размеченных фрагментов для выбора чекпойнта и оценивайте типы сущностей, от которых зависит ваше приложение, одновременно контролируя сохранение качества на общей речи.

Исследование содержит команды для воспроизведения каждого шага. Учебные материалы по дообучению охватывают рецепты, требования к ресурсам и инструменты для обучения, экспорта и оценки, включая ASR для новых языков и переключения кодов. Сопутствующий навык агента позволяет программному агенту выполнить весь рабочий процесс — от выбора базовой модели и проверки данных до валидации обучения, объединения адаптеров и оценки.

ModelScope также позволяет разработчикам дообучать Nemotron 3.5 Transcribe с помощью фреймворка ms-swift для специализированных мультимодальных приложений.

Начните работу с Nemotron 3.5 Transcribe и Granary v2

Попробуйте Nemotron 3.5 Transcribe в демонстрации Hugging Face или в ModelScope Studios, затем скачайте чекпойнт с Hugging Face или ModelScope и разверните его с помощью руководства по развёртыванию vLLM.

Чтобы не размещать модель самостоятельно, используйте размещённую конечную точку от Baseten, DeepInfra или Simplismart.

Чтобы адаптировать модель к своей предметной области, начните с манифестов Granary v2 на Hugging Face или ModelScope и исследования медицинского ASR либо поручите программному агенту выполнить рабочий процесс с помощью навыка агента для дообучения.

Модели и наборы данных

• Чекпойнты моделей: NVIDIA Nemotron 3.5 Transcribe на Hugging Face, ModelScope | Интерактивная демонстрация на Hugging Face, ModelScope
• Размещённые конечные точки: Baseten, DeepInfra, Simplismart \
• Манифесты наборов данных: манифесты Granary v2 на Hugging Face, ModelScope
• Подмножество высокой точности: манифесты на Hugging Face, ModelScope | Пространство на Hugging Face

Репозитории и учебные материалы: NVIDIA NeMo Speech на GitHub | Конвейер NeMo Curator Granary v2 | Руководство по развёртыванию vLLM | Руководство по дообучению Speech | Навык агента для дообучения
*Блоги партнёров: Agora | Inflection AI | VoiceArena | Simplismart *
Локальный ИИ: Что нового в локальном ИИ на ПК и ноутбуках NVIDIA RTX и DGX Spark

Модели, упомянутые в этой статье 2

Наборы данных, упомянутые в этой статье 2

Пространства, упомянутые в этой статье 2

Коллекции, упомянутые в этой статье 1

Другие материалы этого автора