Голосовий ШІ в моді: Nvidia випустила нову відкриту модель транскрипції

У середу Nvidia випустила Nemotron 3.5 Transcribe — безкоштовну модель із відкритими вагами, яка транскрибує аудіо до 40 мовами. Також компанія випустила другу версію Granary — свого набору даних мовлення з відкритим кодом.

Nvidia стверджує, що Nemotron 3.5 може перекладати 31 мовою на англійську та з англійської, обробляти записи тривалістю до години й розрізняти до восьми мовців. Компанія заявляє, що модель перевершує конкурентів у тестах, зокрема в Open ASR Leaderboard від Hugging Face.

Ці інструменти орієнтовані на розробників, які створюють застосунки для ділових зустрічей і медичної транскрипції — двох найбільш усталених сфер застосування ШІ на робочому місці. Nvidia зазначає, що розробники можуть використовувати модель, оновлений набір даних Granary та такі інструменти, як її модель мовлення NeMo, щоб налаштовувати застосунки на розпізнавання галузевої термінології кожною мовою. Один недолік: Transcribe працює із записаним аудіо, а не з потоковими трансляціями.

Водночас компанія обіцяє, що Transcribe з 30 мільярдами параметрів може працювати на одному чипі — від контролера робототехніки Jetson AGX Thor і чипа DGX Spark, які забезпечують роботу нових ноутбуків, до чипів Blackwell для дата-центрів. Модель доповнює голосові моделі Nvidia з відкритими вагами, зокрема надзвичайно малу, але потужну Parakeet (1,1 мільярда параметрів).

Остання голосова розробка Nvidia з’явилася в період активного випуску голосових продуктів ШІ: на початку цього місяця Mistral випустила Voxtral 3 ; ElevenLabs запустила Realtime для миттєвого мовлення у голосових агентах; а Salesforce випустила Launa-Omni — свою голосову модель.