NVIDIA Nemotron 3.5 Transcribe и Granary v2: Интелигентна многоезична транскрипция, която можете да задавате и адаптирате

Единен отворен модел за многоезична транскрипция, разпознаване на говорителите, превод и въпроси и отговори за аудио, с водещи резултати в класациите, плюс отворения конвейер за данни Granary v2 и рецепти за дообучаване и адаптиране.

Транскриптът може да улови всяка изговорена дума и въпреки това да остави потребителите или приложенията да се чудят кой какво е казал, как да го преведат или как да форматират специфичен за даден домейн жаргон. Многоезичните разговори, бързите срещи и медицинската диктовка изискват различен изход: превод, етикети на говорителите или правилно изписани медицински термини.

NVIDIA Nemotron 3.5 Transcribe е модел с отворени тегла, който може да бъде насочван с подкани и превръща записаната реч в полезен текст; вече е достъпен в Hugging Face и ModelScope. Той обединява транскрипцията, разпознаването на говорителите (диаризацията), превода и отговорите на въпроси за аудио в една контролна точка: транскрибира 40 езика, превежда 31 от тях към или от английски и разпознава говорителите на 13 езика. Обработва записи с продължителност до един час и обозначава до осем говорители. Разработчиците могат да насочват изхода с естествен език, да избират къде да се обработва аудиото и да адаптират разпознаването към терминологията и акцентите на конкретния домейн.

Transcribe заема първо място сред моделите с отворени тегла в класацията за отворено ASR на Hugging Face за английски език и е на границата на точността спрямо активните параметри в Artificial Analysis. При разпознаването на говорители той показва най-ниската степен на грешки в класацията на David AI за диаризация на 21 езика и заема първо място в сравнението на VoiceArena между 14 системи. Работи на един графичен процесор NVIDIA — от DGX Spark до центрови системи Blackwell.

Многоезичните данни на Granary v2 (достъпни в Hugging Face и ModelScope) и повторно използваемият конвейер за куриране, заедно с инструментите за дообучаване на NeMo Speech, пренасят контрола чрез подкани към обучението: разработчиците могат да определят нужния писмен вид и да адаптират модела към речта, с която се сблъскват приложенията им. В медицински казус дообучаването намалява относителния процент грешки при думите (WER) върху говорители, които не са включени в обучението, с 45,8% спрямо най-добрата подкана.

Насочвайте транскрипцията и анализа с естествен език

Една и съща контролна точка може да превърне записа на една среща в различни изходи в зависимост от инструкцията:

• „Транскрибирай този запис и обозначи всеки говорител.“
• „Преведи това аудио на английски.“
• „Какви решения бяха взети на тази среща?“

Вижте модела в действие във видеото по-долу, където той обработва класическа сцена от screwball комедията от 1940 г. His Girl Friday — филм, известен със светкавично бързите и силно припокриващи се реплики.

Nemotron 3.5 Transcribe добавя надписи към сцена от His Girl Friday (1940) и обозначава говорителите, включително при припокриващи се реплики.

При непознати термини първо опитайте с контекст, преди да пристъпите към обучение. Например в здравеопазването:

Транскрибирай тази медицинска дискусия на оригиналния език. Възможни термини: HbA1c, metformin. Използвай тези термини само когато аудиото ги потвърждава. Запази стандартния медицински правопис и изписвай числата в конвенционална писмена форма.

Картата на модела съдържа препоръчителни настройки, включително разсъждение за въпроси към аудио, както и пълното ръководство за подкани и матрица на задачите по езици: поддръжката на езиците се различава според задачата, а отговорите на въпроси за аудио са обучени на английски. Поддържат се и времеви маркери на ниво дума. Както при всеки речеви модел, проверявайте имената, промените на говорителите и отговорите спрямо записа.

От живи часове до трайни уроци. Agora, чиято платформа за гласови и видео разговори в реално време захранва разговори на живо в приложения, използва времеви маркери на ниво дума в демонстрация за класна стая: Nemotron 3.5 Transcribe превръща записан час в транскрипт, показван заедно с повторното възпроизвеждане, така че учениците могат да видят какво и кога е било казано. Блогът на Agora описва как е изградено решението.

Победи в класациите — от транскрипция до разпознаване на говорителите

Сред моделите с отворени тегла Transcribe води по отношение на това какво е казано; по отношение на това кой го е казал, той заема първо място в две сравнителни оценки за разпознаване на говорители.

Класация за отворено ASR на Hugging Face. Класацията измерва точността на транскрипцията чрез процента грешки при думите (WER) върху публични тестови набори в три категории:

1. Английски: първо място сред моделите с отворени тегла със среден WER от 5,33% (Фигура 1).
2. Многоезичен: среден WER от 4,62% на седем езика, най-ниският сред оценените модели с отворени тегла в сравнението Open ASR в картата на модела.
3. Дълъг формат: среден WER от 10,98%, също най-ниският в това сравнение.

Фигура 1. Nemotron 3.5 Transcribe заема първо място сред моделите с отворени тегла в класацията за отворено ASR на Hugging Face (английски) със среден WER от 5,33%, като моделите с API са изключени. По-ниският WER означава по-малко грешки при транскрипцията.

Класация Speech-to-Text на Artificial Analysis. Artificial Analysis независимо подрежда моделите за преобразуване на реч в текст според AA-WER — своя индекс за процент грешки при думите. Nemotron 3.5 Transcribe дели първото място сред моделите с отворени тегла с AA-WER от 2,8%, като използва около 4 млрд. активни параметъра спрямо 24 млрд. за модела, с който дели мястото. В AA-AgentTalk — набора от гласова реч на агенти, който съставлява 50% от индекса AA-WER и не е използван в обучението — Transcribe постига WER от 1,8% спрямо 2,3% за следващия най-добър модел с отворени тегла. Transcribe съчетава речевия си енкодер с хибриден езиков модел Mamba–Transformer с експерти, така че за всеки токен са активни само около 4 млрд. от общо 30 млрд. параметъра. Това го поставя на границата на Pareto на Artificial Analysis за модели с отворени тегла, сравняваща точността и активните параметри. В графиката на AA за всички модели той се класира пред няколко широко използвани собствени API за реч.

Фигура 2. Водеща точност според AA с приблизително една шеста от активните параметри: Nemotron 3.5 Transcribe постига AA-WER от 2,80% с приблизително 4 млрд. активни параметъра.

Разпознаване на говорители при различни езици и припокриване. Сигналите за говорителите от Sortformer достигат до езиковия модел заедно с акустичните характеристики, така че Transcribe може да обозначава всеки ход по време на генерирането, вместо да разчита единствено на последваща стъпка за прикрепяне на говорителите към думите.

Класация DAI-ASR-I18N на David AI. В комбинираната категория на David AI за транскрипция и разпознаване на говорители DAI-ASR-I18N Transcribe заема първо място сред оценените модели с отворени тегла и второ място като цяло. В категорията за диаризация на сравнителната оценка, която измерва кой и кога е говорил на 21 езика, той има най-ниската грешка при диаризация сред 14-те тествани системи, малко пред специализирания модел на NVIDIA Nemotron 3 Diarization.

Фигура 3. Моделите на NVIDIA заемат първите две места в многоезичната класация за диаризация на David AI: Nemotron 3.5 Transcribe показва най-ниската обща грешка при диаризация (DER) — 18,26% на 21 езика, следван от Nemotron 3 Diarization с 18,38%. DER измерва грешките във времето на говорителите; по-ниската стойност е по-добра.

VoiceArena Diarization-Bench. В англоезичната сравнителна оценка на VoiceArena за цели сесии Transcribe показва най-ниския конкатениран WER с минимална пермутация (cpWER) сред 14 системи и заема първо място както при присъствени, така и при онлайн настройки. Той също така пропуска най-малко думи: изтриванията са 8,32% от референтните думи спрямо медиана от около 31%.

Фигура 4. Моделите на NVIDIA заемат първите две места в сравнението на VoiceArena между 14 системи: Nemotron 3.5 Transcribe води с cpWER от 32,4%, следван от NVIDIA Multitalker Parakeet с Nemotron 3 Diarization с 34,2%. Diarization-Bench v1 обхваща цели англоезични сесии, припокриваща се реч и 2–8 говорители. cpWER отчита грешките при думите след съпоставяне на етикетите на говорителите; по-ниската стойност е по-добра.

Други оценки. Оценката Converse-STT на Ocular AI класира Transcribe като водещия отворен модел. Класацията Voice of India на Josh Talks отчита резултатите на Transcribe за индийските езици.

Работи от периферията до центъра за данни. Transcribe работи на един графичен процесор NVIDIA — от Jetson AGX Thor и DGX Spark до графичните процесори Blackwell за центрове за данни. На един графичен процесор NVIDIA RTX PRO 6000 Blackwell Server Edition с точност NVFP4 той обработва 100 часа аудио за по-малко от три минути, измерено при клипове от 30 секунди и висока едновременност.

Предоставяйте контролната точка чрез vLLM още днес или я стартирайте локално с NeMo-Speech.cpp. Transcribe е предназначен за записано аудио, а не за поточно предаване на живо.

Специализираните записи все пак могат да изискват адаптиране към терминологията на конкретния домейн и конвенциите за транскрипция. Granary v2 и дообучаването с NeMo Speech отговарят на тази потребност, започвайки с данните зад Transcribe.

Granary v2: отвореният конвейер за куриране на данни зад Transcribe

Речевият модел, който може да бъде насочван с подкани, изисква обучаващи данни с недвусмислени цели за форматиране. Granary v2 е част от колекцията Nemotron speech в Hugging Face и ModelScope. Изграден с NVIDIA NeMo Curator, неговият повторно използваем конвейер подготвя многоезична реч, използвана за обучението на Nemotron 3.5 Transcribe, като създава подравнени варианти на транскрипта, етикети на задачите и проверими метаданни за качеството. Публичният манифест обхваща 463 062 часа на 48 езика и от 16 изходни корпуса спрямо 25 езика в Granary v1. Тези цифри описват изданието на набора от данни, а не пълната смес за обучение на Transcribe или теглата му за извадка.

Granary v2 генерира три форми на транскрипта за всеки запис (Таблица 1) — същите дословен и изчистен стил, които разработчиците могат да поискат от Transcribe чрез подкана. Освен транскрипция конвейерът създава кратки аудио описания, възстановяване на превключването между езици при заемки, двойки за въпроси и отговори, базирани на речта, термини за контекстно ASR насочване и преводи с автоматични оценки за качество.

Таблица 1. Цели за обучение на Granary v2 за една и съща реплика.

Конвейерът е организиран в четири повторно използваеми етапа:

• 1. Подготовка на аудиото (метаданни): Сегментира необработено или дълго аудио, проследява говорителите в целия запис и обозначава акустичните събития и езика. Източниците на Granary v2 вече са били сегментирани, затова този етап е пропуснат в това издание.
• 2. Транскрипция (ASR): Насочва всеки език към основни и резервни ASR модели, като преминава към резервния, когато основният не премине проверка за халюцинации. Човешките референтни транскрипти помагат за запазване на надеждния правопис, като същевременно добавят разговорни форми и нарушения на плавността.
• 3. Генериране на етикети на задачите (текст): Извежда варианти на транскрипта, след което проверява скоростта на символите, моделите на халюцинации и съгласието между модела и човешката референция. Само приетите записи получават термини за контекстно ASR насочване и преводи.
• 4. Висока достоверност (HiFi): Филтрира сегменти, които са шумни, клипирани или съдържат няколко говорители, като запазва по-малък набор от висококачествени записи за употреби извън ASR. За набора от данни VoxPopuli това намалява 354 хил. часа до 111 хил. часа на 22 европейски езика.

Фигура 6. Конвейерът за куриране на данни Granary v2, проследяващ една проба от необработеното аудио през етапите „Метаданни“, ASR и „Текст“ до пример за обучение.

Разработчиците могат да изпълняват конвейера NeMo Curator с бекендите Ray и NVIDIA Dynamo върху собствени записи или разрешени публични корпуси, или да надграждат върху публичните манифести на Granary v2. Манифестите включват трите форми на транскрипта като tn_raw, itn_raw и itn_clean, описаните по-горе етикети, подсказки за обекти, извлечени двойки инструкции, произход, както и флаг за качество на ниво запис. Изтегляйте изходното аудио отделно съгласно оригиналния лиценз на всеки корпус и спазвайте публикуваните условия на изданието.

Адаптирайте разпознаването към важната терминология

Започнете с подкана за набор за разработка, който указва езика, писмеността и формата на транскрипта. В казуса по-долу посочването на английския език и латиницата в подканата намалява WER върху целия сравнителен набор от 30,8% на 23,8%. За оставащите домейн-специфични грешки работният процес за дообучаване на NeMo Speech съчетава представителна реч с изрично зададени писмени цели.

Медицинският ASR казус на NeMo Speech показва този процес върху отворената сравнителна оценка на Eka Care на записи от индийски лекари и студенти по медицина, която съдържа 3619 клипа и няма определен набор за обучение. Проучването създава данни за адаптиране от генериран медицински текст и публични каталози на лекарства, след което комбинира приблизително 153 часа синтетична реч, 29 часа английска реч с акцент от Common Voice и 63 часа медицински записи от MultiMed.

Фигура 7. Върху пълния тестов набор на сравнителната оценка на Eka Care за индийска медицинска реч по-добрата подкана намалява WER от 30,8% на 23,8%, а дообучаването го свежда до 11,8% — приблизително 62% по-малко грешки при транскрипцията спрямо модела без допълнителна адаптация. Пълният набор включва 855-те клипа за настройване, използвани за избор на подканата и контролните точки; резултатите върху задържаните данни по-долу са по-чистият тест.

Синтетичното генериране разделя писмената цел от нейното озвучаване: „HbA1c“ е етикетът, докато „H B A one C“ се изпраща към синтезатора. Множество TTS гласове разширяват аудиото; реалните записи добавят акценти и различни условия на запис. Обучаващият текст се филтрира за точни съвпадения и общи осемсловни последователности с референциите от сравнителната оценка.

Както при изричните цели на Granary v2, примерите за обучение променят цифрите, интервалите между мерните единици, разгръщането на имената на компаниите и тиретата в марковите имена, като инструкциите указват необходимата конвенция. Някои подкани включват списъци с термини и близки, но неправилни разсейващи варианти, така че моделът се научава да използва даден правопис само когато аудиото го подкрепя. Крайната система използва една фиксирана подкана за конвенцията и един проход на модела, без извличане или последваща обработка на транскрипта.

Рецептата обучава речевия енкодер и проекцията и използва LoRA за адаптиране на езиковия модел. Два прохода използват различни смеси от данни; след сливането на адаптерите избрани контролни точки се усредняват равномерно в един краен модел. Изборът на контролна точка използва декодирани резултати от набора за разработка, а не само загубата при обучението. Цялата адаптация — от генерирането на текст до оценяването — отнема около 14 GPU-часа на един NVIDIA GB300.

Подобрения в домейна, измерени върху говорители, които не са участвали в обучението

Проучването разделя сравнителния набор по говорители на 855 клипа за настройване, използвани за избор на подканата и контролните точки, и 2764 задържани клипа, декодирани веднъж за всяка крайна система. С помощта на конвейера за оценяване KARMA на Eka Care дообучаването намалява WER върху задържаните данни от 22,44% при базовата линия с най-добра подкана до 12,17% — относително намаление от 45,8% и най-ясното доказателство, че подобренията се пренасят към нови говорители. WER на ключовите думи спада от 9,2% на 6,5%, а семантичният WER — от 10,0% на 7,6%. При същите задържани говорители и оценяващ инструмент WER от 12,17% на адаптирания модел надминава отворен специализиран медицински модел (13,79%) и широко използван ASR модел с общо предназначение (14,92%).

При общ английски WER върху LibriSpeech test-clean се повишава леко — от 1,54% на 1,69%. Медицинският специализиран модел все още води при точните съвпадения за маркови лекарства и диагностика; проучването посочва реалните записи на клиницисти, произнасящи маркови имена, като следваща стъпка. За вашия собствен домейн запазете поне 100 реални, етикетирани клипа за избор на контролна точка и оценявайте типовете обекти, от които зависи приложението ви, заедно със запазването на способностите за обща реч.

Казусът включва команди за възпроизвеждане на всяка стъпка. Ръководствата за дообучаване обхващат рецепти, изисквания към ресурсите и инструменти за обучение, експортиране и оценяване, включително ASR за нови езици и превключване между езици. Придружаващото умение за агент позволява на кодиращ агент да изпълни работния процес — от избора на базова линия и проверките на данните до валидирането на обучението, сливането на адаптерите и оценяването.

ModelScope също позволява на разработчиците да дообучават Nemotron 3.5 Transcribe чрез своята рамка ms-swift за специализирани мултимодални приложения.

Започнете с Nemotron 3.5 Transcribe и Granary v2

Изпробвайте Nemotron 3.5 Transcribe в демото на Hugging Face или в ModelScope Studios, след което изтеглете контролната точка от Hugging Face или ModelScope и я предоставяйте чрез ръководството за внедряване на vLLM.

За да избегнете самостоятелното хостване, използвайте хоствана крайна точка от Baseten, DeepInfra или Simplismart.

За да го адаптирате към своя домейн, започнете с манифестите на Granary v2 в Hugging Face или ModelScope и медицинския ASR казус, или оставете кодиращ агент да управлява работния процес чрез умението на агента за дообучаване.

Модели и набори от данни

• Контролни точки на модела: NVIDIA Nemotron 3.5 Transcribe в Hugging Face, ModelScope | Интерактивно демо в Hugging Face, ModelScope
• Хоствани крайни точки: Baseten, DeepInfra, Simplismart \
• Манифести на набори от данни: Манифести на Granary v2 в Hugging Face, ModelScope
• Поднабор с висока достоверност: Манифести в Hugging Face, ModelScope | Space в Hugging Face

Хранилища и ръководства: NVIDIA NeMo Speech GitHub | Конвейер NeMo Curator Granary v2 | Ръководство за внедряване на vLLM | Ръководство за дообучаване на Speech | Умение на агент за дообучаване
*Блогове на партньори: Agora | Inflection AI | VoiceArena | Simplismart *
Локален AI: Какво ново в локалния AI на NVIDIA RTX компютри, лаптопи и DGX Spark

Модели, споменати в тази статия 2

Набори от данни, споменати в тази статия 2

Пространства, споменати в тази статия 2

Колекции, споменати в тази статия 1

Още от този автор