Отвореният Nemotron 3.5 Transcribe на Nvidia съчетава транскрипция, превод и разпознаване на говорители

Nvidia пусна отворен модел за разпознаване на реч, който приема текстови инструкции, а компанията твърди, че е лидер в няколко бенчмарка. Изданието включва и голям набор от данни за обучение и инструменти за адаптиране към специализирани области.

Обикновената транскрипция не показва кой какво е казал. Тя също така няма да преведе нищо или да изпише правилно техническите термини. Nemotron 3.5 Transcribe е създаден да се справя с всичко това в един модел, а освен това може да отговаря на въпроси относно съдържанието на записа. Nvidia твърди, че моделът транскрибира на 40 езика, превежда 31 от тях към или от английски и разпознава говорители на 13 езика. Той обработва записи с продължителност до един час. В тях могат да участват до осем говорители.

Потребителите управляват модела с прости инструкции. В зависимост от подканата един и същ запис от среща може да се превърне в транскрипция с етикети на говорителите, превод на английски или обобщение на взетите решения. Потребителите могат също да подават технически термини, например имена на лекарства, като подсказки. Моделът би трябвало да ги използва само ако действително се появяват в записа.

Почти водеща точност на един графичен процесор

Моделът има 30 милиарда параметъра, но само около 4 милиарда са активни при всяка стъпка на обработка. В резултат на това той работи на един графичен процесор Nvidia. Това включва всичко — от компактния DGX Spark до хардуер за центрове за данни. Nvidia твърди, че моделът обработва 100 часа аудио за по-малко от три минути на RTX PRO 6000 Blackwell Server Edition при точност NVFP4.

В English Open ASR Leaderboard на Hugging Face Transcribe заема първо място сред моделите с отворени тегла със среден процент грешки при думите от 5,33%. В сравнението на Artificial Analysis резултатът му е 2,81%. Това е близо до най-добрия отворен модел Voxtral Small с 2,77%, но Transcribe използва само около една шеста от активните параметри. Според Nvidia няколко широко използвани комерсиални услуги за обработка на реч изостават.

Преднината е най-голяма при разпознаването на говорители. VoiceArena тества 14 системи в разговори, в които говорителите понякога се прекъсват, и Transcribe зае първо място. Той също така пропусна най-малко думи — 8,32% спрямо медиана от около 31%. В бенчмарка на David AI, който измерва атрибуцията на говорители на 21 езика, моделът постигна най-ниския процент грешки. Той завърши малко пред специализирания модел на Nvidia за тази задача.

Отворен набор от данни позволява на разработчиците да обучават модели за собствените си области

Заедно с модела Nvidia пуска набора от данни Granary v2. Той съдържа около 844 000 часа реч на 48 езика спрямо приблизително 643 000 часа на 25 езика в предишната версия. Всеки запис се предлага в няколко стила на транскрипция. Едната версия е дословна, с паразитни думи като „ъ-ъ“ и числата, изписани с думи. Другата е редактирана, без паразитни думи и с цифри вместо думи. Nvidia споделя и инструментите, използвани за създаването на набора от данни, така че разработчиците да могат да ги използват със собствените си записи. Компанията обаче уточнява, че наборът от данни не съвпада напълно с данните за обучение на модела.

Nvidia тества целево дообучаване върху записи на индийски лекари и студенти по медицина. При целия бенчмарк по-прецизна подкана намали процента грешки от 30,8 на 23,8%. След дообучаването процентът спадна до 11,8%. Данните за обучение се състояха предимно от синтетична реч. За говорители, които моделът не е чувал преди, Nvidia отчита отделно спад от 22,44 на 12,17% — относително подобрение от 45,8%. Така адаптираният модел изпревари отворен модел за медицинска реч, който постигна 13,79%. Nvidia твърди, че целият процес е отнел около 14 часа работа на графичен процесор върху един Nvidia GB300.

Специализацията има своята цена. Процентът грешки се е увеличил леко при обща реч на английски, а медицинският модел е останал по-точен при търговските наименования на лекарствата. Nvidia препоръчва при създаването на персонализирани версии за тестване да се заделят поне 100 реални, проверени записа.

Базовият модел също има ограничения. Функциите се различават според езика, а Nvidia заявява, че функцията за отговаряне на въпроси относно аудио е обучена на английски. Моделът е създаден само за записано аудио. Nvidia препоръчва потребителите да проверяват на случаен принцип имената, смените на говорителите и отговорите.

Моделът и наборът от данни са достъпни в Hugging Face. Има и демо, което можете да изпробвате. За дообучаване Nvidia предлага ръководства и разширение, което позволява на асистент за програмиране с изкуствен интелект да изпълнява работния процес по обучение.

Nvidia представи едва наскоро Nemotron 3 Diarization — специализиран модел за разпознаване на говорители, през септември. Той може да различава до осем говорители, дори в разговори на живо, но за същинската транскрипция се нуждаеше от отделен модел като Parakeet на Nvidia. Nemotron 3.5 Transcribe комбинира двете задачи и добавя превод и разбиране на аудио. Той обаче не поддържа обработка в реално време. Nvidia вече беше използвала набора от данни Granary за своя мултимодален Nemotron 3 Nano Omni.

Конкурентите поставят различни приоритети. Семейството Voxtral на Mistral също комбинира транскрипция и разбиране на аудио. С наскоро обявения Voxtral 3 компанията се фокусира върху гласови агенти в реално време.

Новини за изкуствения интелект без сензация — подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за изкуствения интелект, нашия ексклузивен шест пъти годишно публикуван доклад за новите тенденции в „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.