Открытая модель Nvidia Nemotron 3.5 Transcribe объединяет транскрибацию, перевод и распознавание говорящих

Nvidia выпустила открытую модель распознавания речи, которая принимает текстовые инструкции, и, по словам компании, лидирует в нескольких тестах. В релиз также входят большой обучающий набор данных и инструменты для адаптации модели к специализированным областям.

Обычная расшифровка не сообщает, кто что сказал. Она также не переводит текст и не всегда правильно записывает технические термины. Nemotron 3.5 Transcribe создана для того, чтобы справляться со всем этим в рамках одной модели, а также отвечать на вопросы о содержании записи. По словам Nvidia, модель транскрибирует речь на 40 языках, переводит 31 из них на английский или с английского и распознаёт говорящих в 13 языках. Она обрабатывает записи длительностью до часа, в которых могут участвовать до восьми говорящих.

Пользователи управляют моделью с помощью простых инструкций. В зависимости от запроса одна и та же запись совещания может превратиться в расшифровку с обозначением говорящих, перевод на английский или краткое изложение принятых решений. Пользователи также могут передавать технические термины, например названия лекарств, в качестве подсказок. Модель должна использовать их только в том случае, если они действительно встречаются в записи.

Точность почти на уровне лидеров при работе на одном GPU

Модель содержит 30 миллиардов параметров, но на каждом шаге обработки активны только около 4 миллиардов. Поэтому она работает на одном GPU Nvidia. Под это подходят устройства от компактного DGX Spark до оборудования для центров обработки данных. Nvidia утверждает, что модель обрабатывает 100 часов аудио менее чем за три минуты на RTX PRO 6000 Blackwell Server Edition с точностью NVFP4.

В рейтинге английских открытых систем автоматического распознавания речи на Hugging Face Transcribe занимает первое место среди моделей с открытыми весами со средней частотой ошибок в словах 5,33 процента. В сравнении Artificial Analysis результат составляет 2,81 процента. Это близко к лучшей открытой модели Voxtral Small с показателем 2,77 процента, но Transcribe использует лишь около шестой части активных параметров. По данным Nvidia, несколько широко используемых коммерческих речевых сервисов уступают ей.

Самое большое преимущество наблюдается в распознавании говорящих. VoiceArena протестировала 14 систем на разговорах, в которых участники иногда перебивали друг друга, и Transcribe заняла первое место. Она также потеряла меньше всего слов: показатель пропусков составил 8,32 процента против медианного значения около 31 процента. В тесте David AI, измеряющем атрибуцию говорящих на 21 языке, модель показала самый низкий уровень ошибок. Она лишь немного опередила собственную специализированную модель Nvidia для этой задачи.

Открытый набор данных позволяет разработчикам обучать модель для собственных областей

Одновременно с моделью Nvidia выпускает набор данных Granary v2. Он содержит около 844 000 часов речи на 48 языках — по сравнению примерно с 643 000 часами на 25 языках в предыдущей версии. Каждая запись представлена в нескольких вариантах транскрибации. Один вариант дословный, с такими словами-паразитами, как «э-э», и числами, записанными словами. Другой очищен: в нём нет слов-паразитов, а вместо слов используются цифры. Nvidia также публикует инструменты, с помощью которых создавала набор данных, чтобы разработчики могли запускать их на собственных записях. Однако компания отмечает, что набор данных не полностью соответствует данным, на которых обучалась модель.

Nvidia протестировала целевую тонкую настройку на записях индийских врачей и студентов-медиков. На полном тесте более точный запрос снизил частоту ошибок с 30,8 до 23,8 процента. После тонкой настройки показатель упал до 11,8 процента. Обучающие данные в основном состояли из синтетической речи. Для говорящих, которых модель раньше не слышала, Nvidia отдельно сообщает о снижении показателя с 22,44 до 12,17 процента — относительном улучшении на 45,8 процента. Это позволило адаптированной модели опередить открытую медицинскую речевую модель, показавшую 13,79 процента. По словам Nvidia, весь процесс занял около 14 часов работы GPU на одном Nvidia GB300.

Специализация требует компромиссов. Частота ошибок на обычной английской речи немного выросла, а медицинская модель по-прежнему точнее распознавала фирменные названия лекарств. Nvidia рекомендует выделять для тестирования не менее 100 реальных проверенных записей при создании пользовательских версий.

У базовой модели тоже есть ограничения. Набор функций различается в зависимости от языка, а Nvidia сообщает, что функция ответов на вопросы по аудио обучалась на английском языке. Модель также предназначена только для записанного аудио. Nvidia рекомендует выборочно проверять имена, смену говорящих и ответы.

Модель и набор данных доступны на Hugging Face. Там же есть демонстрация, которую можно попробовать. Для тонкой настройки Nvidia предлагает руководства и расширение, позволяющее AI-помощнику для программирования запускать процесс обучения.

Лишь недавно, в сентябре, Nvidia представила Nemotron 3 Diarization — специализированную модель для распознавания говорящих. Она может различать до восьми говорящих даже в живых разговорах, но для самой транскрибации ей требовалась отдельная модель, например Parakeet от Nvidia. Nemotron 3.5 Transcribe объединяет обе задачи, а также добавляет перевод и понимание аудио. Однако модель не поддерживает обработку в реальном времени. Ранее Nvidia уже использовала набор данных Granary для своей мультимодальной Nemotron 3 Nano Omni.

Конкуренты расставляют другие приоритеты. Семейство Voxtral Mistral также объединяет транскрибацию и понимание аудио. В недавно анонсированной Voxtral 3 компания делает акцент на голосовых агентах, работающих в реальном времени.

Новости ИИ без хайпа — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать без рекламы, получать еженедельную рассылку об ИИ и наш эксклюзивный аналитический отчёт о передовых разработках «AI Radar» шесть раз в год, а также получить доступ ко всему архиву и разделу комментариев.