Голосовой ИИ в моде: Nvidia выпустила новую открытую модель транскрибации

В среду Nvidia выпустила Nemotron 3.5 Transcribe — бесплатную модель с открытыми весами, которая расшифровывает аудио на 40 языках. Кроме того, компания выпустила вторую версию Granary — своего набора речевых данных с открытым исходным кодом.

Nvidia заявляет, что Nemotron 3.5 может переводить с 31 языка на английский и обратно, обрабатывать записи продолжительностью до часа и различать до восьми говорящих. Компания утверждает, что модель превосходит конкурентов в тестах, включая Open ASR Leaderboard от Hugging Face.

Эти инструменты предназначены для разработчиков, создающих приложения для деловых встреч и медицинской транскрибации — двух наиболее устоявшихся направлений применения ИИ на рабочем месте. Nvidia утверждает, что разработчики могут использовать модель, обновлённый набор данных Granary и такие инструменты, как речевая модель NeMo, чтобы адаптировать приложения для распознавания отраслевой терминологии на каждом языке. Есть и недостаток: Transcribe работает с записанным аудио, но не с потоковыми трансляциями в реальном времени.

Тем не менее компания обещает, что Transcribe с 30 миллиардами параметров может работать на одном чипе — от контроллера робототехники Jetson AGX Thor и чипа DGX Spark, обеспечивающего работу новых ноутбуков, до серверных чипов Blackwell. Модель пополняет линейку голосовых моделей Nvidia с открытыми весами, включая сверхкомпактную, но мощную Parakeet (1,1 миллиарда параметров).

Последняя голосовая разработка Nvidia появилась в период активного выпуска ИИ-моделей для работы с голосом: ранее в этом месяце Mistral выпустила Voxtral 3 ; ElevenLabs запустила Realtime для мгновенной речи в голосовых агентах; а Salesforce представила Launa-Omni — свою голосовую модель.