NVIDIA представи модел за диаризация на реч с до осем говорители
NVIDIA представи Nemotron 3 Diarization — модел с отворени тегла и 100 милиона параметъра, предназначен да определя кога говорят различни участници в разговори на живо или записи. Той поддържа до осем канала за говорители, включително едновременно говорене, и обработва аудио на части с конфигурируема латентност при поточно предаване. Моделът създава анонимни етикети и времеви отметки, без да установява самоличността на хората.
Nemotron 3 Diarization подрежда каналите според момента, в който гласовете се появяват за първи път, за да запази последователността им между отделните аудио части. Резултатът може да се комбинира с автоматично разпознаване на реч, за да се изготвят транскрипции, свързващи думите с конкретни говорители. Самата диаризация не генерира текст. Моделът приема моно аудио с честота 16 kHz и препоръчва буфери с латентност 30.4, 1.04, 0.64 или 0.32 секунди.
В първоначалната оценка на VoiceArena Diarization-Bench моделът зае първо място сред 12 системи и 17 конфигурации, тествани върху 139 разговора на английски. При отчитане на припокриваща се реч и без допуск за границите той постигна 14.72% грешка при диаризация, спрямо 19.3% за следващата система. NVIDIA отчете и по-ниска грешка от предишния четириговорителен Streaming Sortformer в осем условия при латентност 1.04 секунди.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.