NVIDIA представила модель диаризации Nemotron 3 для восьми говорителей
NVIDIA представила Nemotron 3 Diarization — модель с открытыми весами и 100 миллионами параметров, которая определяет, когда говорят разные участники живых или записанных разговоров. Она поддерживает до восьми каналов говорителей, в том числе одновременную речь, и обрабатывает аудио фрагментами с настраиваемой задержкой потоковой обработки. Модель выдает анонимные метки и временные интервалы, но не устанавливает личности людей.
Nemotron 3 Diarization упорядочивает каналы по времени первого появления голосов, благодаря чему сохраняет соответствие говорителей между последовательными фрагментами аудио. Ее результаты можно объединить с автоматическим распознаванием речи и получить расшифровку с указанием говорителей. Сама диаризация текст не создает. Модель принимает одноканальный звук с частотой 16 kHz; рекомендованные задержки буфера составляют 30.4, 1.04, 0.64 и 0.32 секунды.
В первоначальном тесте VoiceArena Diarization-Bench модель заняла первое место среди 12 систем и 17 конфигураций, проверенных на 139 англоязычных разговорах. При учете перекрывающейся речи и нулевом допуске на границы показатель ошибки диаризации составил 14.72%, тогда как у следующей системы — 19.3%. NVIDIA также сообщила о более низкой ошибке по сравнению с прежней четырехканальной Streaming Sortformer в восьми условиях при задержке 1.04 секунды.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.