NVIDIA представила Nemotron 3 для діаризації мовлення восьми спікерів
NVIDIA представила Nemotron 3 Diarization — модель із відкритими вагами та 100 мільйонами параметрів, яка визначає, коли говорять різні учасники живих або записаних розмов. Вона підтримує до восьми каналів спікерів, зокрема одночасне мовлення, і обробляє аудіо фрагментами з налаштованою затримкою потокової роботи. Модель створює анонімні позначки й часові інтервали, але не встановлює особи людей.
Nemotron 3 Diarization упорядковує канали за часом першої появи голосів, щоб зберігати відповідність спікерів між послідовними аудіофрагментами. Її результати можна поєднати з автоматичним розпізнаванням мовлення та отримати транскрипцію із зазначенням спікерів. Сама діаризація не генерує текст. Модель приймає одноканальне аудіо з частотою 16 kHz; рекомендована затримка буфера становить 30.4, 1.04, 0.64 або 0.32 секунди.
У початковому тестуванні VoiceArena Diarization-Bench модель посіла перше місце серед 12 систем і 17 конфігурацій, випробуваних на 139 англомовних розмовах. За умови врахування перекривання мовлення та без допуску для меж показник помилки діаризації становив 14.72%, тоді як у наступної системи — 19.3%. NVIDIA також повідомила про нижчу помилку порівняно з попередньою чотириканальною Streaming Sortformer у восьми умовах за затримки 1.04 секунди.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.