Відкрита модель Nvidia Nemotron 3.5 Transcribe поєднує транскрипцію, переклад і розпізнавання мовців

Nvidia випустила відкриту модель розпізнавання мовлення, яка сприймає текстові інструкції, і стверджує, що модель лідирує в кількох бенчмарках. Реліз також містить великий набір навчальних даних та інструменти для адаптації моделі до спеціалізованих сфер.

Звичайна транскрипція не повідомляє, хто що сказав. Вона також не перекладає текст і може неправильно записувати технічні терміни. Nemotron 3.5 Transcribe розроблена для виконання всіх цих завдань в одній моделі, а також може відповідати на запитання щодо змісту запису. Nvidia заявляє, що модель транскрибує 40 мов, перекладає 31 із них англійською або з англійської та ідентифікує мовців у 13 мовах. Вона обробляє записи тривалістю до однієї години. У них може бути до восьми мовців.

Користувачі керують моделлю за допомогою простих інструкцій. Залежно від запиту один і той самий запис зустрічі може перетворитися на транскрипцію з позначеннями мовців, переклад англійською або підсумок ухвалених рішень. Користувачі також можуть передавати технічні терміни, як-от назви ліків, як підказки. Модель має використовувати їх лише в тому разі, якщо вони справді присутні в записі.

Точність майже на рівні лідерів на одному графічному процесорі

Модель має 30 мільярдів параметрів, але на кожному кроці обробки активними є лише близько 4 мільярдів. У результаті вона працює на одному графічному процесорі Nvidia. Це стосується всього діапазону — від компактного DGX Spark до обладнання для центрів обробки даних. Nvidia заявляє, що модель обробляє 100 годин аудіо менш ніж за три хвилини на RTX PRO 6000 Blackwell Server Edition із точністю NVFP4.

У рейтингу English Open ASR Leaderboard на Hugging Face Transcribe посідає перше місце серед моделей із відкритими вагами із середньою часткою помилок у словах 5,33 відсотка. У порівнянні Artificial Analysis її результат становить 2,81 відсотка. Це близько до найкращої відкритої моделі Voxtral Small із показником 2,77 відсотка, але Transcribe використовує лише приблизно шосту частину активних параметрів. За даними Nvidia, кілька широко використовуваних комерційних сервісів розпізнавання мовлення поступаються їй.

Найбільша перевага спостерігається в розпізнаванні мовців. VoiceArena протестувала 14 систем на розмовах, де мовці іноді говорять одночасно, і Transcribe посіла перше місце. Вона також пропустила найменше слів: 8,32 відсотка порівняно з медіанним показником близько 31 відсотка. У бенчмарку David AI, який вимірює атрибуцію мовців у 21 мові, модель продемонструвала найнижчий рівень помилок. Вона лише трохи випередила спеціалізовану модель Nvidia для цього завдання.

Відкритий набір даних дає змогу розробникам навчати модель для власних сфер

Разом із моделлю Nvidia випускає набір даних Granary v2. Він містить близько 844 000 годин мовлення 48 мовами — порівняно з приблизно 643 000 годинами 25 мовами в попередній версії. Кожен запис доступний у кількох стилях транскрипції. Один варіант є дослівним і містить слова-паразити на кшталт «ем» та числа, записані словами. Інший очищений: без слів-паразитів і з цифрами замість слів. Nvidia також надає інструменти, використані для створення набору даних, щоб розробники могли запускати їх на власних записах. Водночас компанія зазначає, що набір даних не повністю відповідає навчальним даним моделі.

Nvidia протестувала цільове донавчання на записах індійських лікарів і студентів-медиків. На повному бенчмарку точніший запит знизив рівень помилок із 30,8 до 23,8 відсотка. Після донавчання показник знизився до 11,8 відсотка. Навчальні дані здебільшого складалися із синтетичного мовлення. Для мовців, яких модель раніше не чула, Nvidia окремо повідомляє про зниження показника з 22,44 до 12,17 відсотка — відносне покращення на 45,8 відсотка. Це вивело адаптовану модель уперед відкритої медичної мовної моделі, яка набрала 13,79 відсотка. Nvidia заявляє, що весь процес зайняв близько 14 годин роботи графічного процесора на одному Nvidia GB300.

Спеціалізація має свою ціну. Рівень помилок у загальному англомовному мовленні дещо зріс, а медична модель залишалася точнішою під час розпізнавання торгових назв ліків. Nvidia рекомендує відкладати щонайменше 100 реальних перевірених записів для тестування під час створення власних версій.

Базова модель також має обмеження. Набір функцій залежить від мови, а Nvidia зазначає, що функцію відповідей на запитання щодо аудіо навчали англійською. Модель також призначена лише для записаного аудіо. Nvidia рекомендує вибірково перевіряти імена, зміни мовців і відповіді.

Модель і набір даних доступні на Hugging Face. Також можна випробувати демоверсію. Для донавчання Nvidia пропонує інструкції та розширення, яке дає змогу асистенту з написання коду на основі ШІ запускати процес навчання.

Лише нещодавно, у вересні, Nvidia представила Nemotron 3 Diarization — спеціалізовану модель розпізнавання мовців. Вона може розрізняти до восьми мовців навіть у живих розмовах, але для безпосередньої транскрипції потребувала окремої моделі, як-от Parakeet від Nvidia. Nemotron 3.5 Transcribe поєднує обидва завдання, а також додає переклад і розуміння аудіо. Водночас вона не підтримує обробку в реальному часі. Раніше Nvidia вже використовувала набір даних Granary для своєї мультимодальної Nemotron 3 Nano Omni.

Конкуренти розставляють інші пріоритети. Сімейство Voxtral від Mistral також поєднує транскрипцію та розуміння аудіо. У нещодавно анонсованій Voxtral 3 компанія зосереджується на голосових агентах, що працюють у реальному часі.

Новини про ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.