NVIDIA представи модел за проследяване на до осем говорители
NVIDIA пусна Nemotron 3 Diarization — модел с 100 милиона параметъра и отворени тегла, достъпен в Hugging Face. Той определя кога говори всеки участник и проследява до осем говорители, включително при едновременно говорене. Един и същ checkpoint поддържа записан звук и поточно предаване в реално време, а лицензът OpenMDW License 1.1 разрешава търговска употреба.
Моделът приема моно аудио с честота 16 kHz и генерира времеви интервали с анонимни етикети за говорителите. Работи под Linux чрез NVIDIA NeMo с графични процесори Ampere, Ada Lovelace, Hopper или Blackwell. Препоръчителната латентност на входния буфер е между 30,4 секунди при офлайн обработка и 0,32 секунди при ултраниска латентност. Тези стойности не включват изчисленията, мрежовия пренос и ASR обработката.
В първоначалния Diarization-Bench на Voice Arena Nemotron 3 Diarization зае първо място сред 12 системи и 17 конфигурации, с 14,72% DER при 139 разговора на английски език. NVIDIA съобщи за средно относително намаление на DER от 41,0% спрямо четириговорителния Streaming Sortformer при латентност 1,04 секунди. Резултатите могат да се влошат при повече от осем говорители, силен шум, реверберация или запис от голямо разстояние. Моделът все още не е достъпен чрез Hugging Face Inference Providers.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.