NVIDIA выпустила модель для отслеживания до восьми говорящих
NVIDIA выпустила Nemotron 3 Diarization — модель со 100 миллионами параметров и открытыми весами, доступную на Hugging Face. Она определяет, когда говорит каждый участник, и отслеживает до восьми говорящих, в том числе при одновременной речи. Один checkpoint предназначен и для записей, и для потоковой работы в реальном времени. Лицензия OpenMDW License 1.1 разрешает коммерческое использование.
Модель принимает одноканальный звук с частотой 16 kHz и формирует временные интервалы с анонимными метками говорящих. Она работает в Linux через NVIDIA NeMo на GPU архитектур Ampere, Ada Lovelace, Hopper или Blackwell. Рекомендуемая задержка входного буфера составляет от 30,4 секунды в режиме, близком к офлайн-обработке, до 0,32 секунды в режиме сверхнизкой задержки. В эти значения не входят вычисления, сетевой обмен и работа ASR.
В первоначальном Diarization-Bench от Voice Arena модель заняла первое место среди 12 систем и 17 конфигураций: 14,72% DER на 139 англоязычных разговорах. По данным NVIDIA, среднее относительное снижение DER против четырехголосового Streaming Sortformer при задержке 1,04 секунды составило 41,0%. Более восьми говорящих, сильный шум, реверберация и запись на большом расстоянии могут повысить число ошибок. В Hugging Face Inference Providers модель пока недоступна.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.