NVIDIA випустила модель для відстеження до восьми мовців
NVIDIA випустила Nemotron 3 Diarization — модель зі 100 мільйонами параметрів і відкритими вагами, доступну на Hugging Face. Вона визначає, коли говорить кожен учасник, і відстежує до восьми мовців, зокрема під час одночасного мовлення. Один checkpoint працює із записаним аудіо та потоковою передачею в реальному часі. Ліцензія OpenMDW License 1.1 дозволяє комерційне використання.
Модель приймає одноканальне аудіо з частотою 16 kHz і створює часові інтервали з анонімними ідентифікаторами мовців. Вона працює в Linux через NVIDIA NeMo на GPU архітектур Ampere, Ada Lovelace, Hopper або Blackwell. Рекомендована затримка вхідного буфера становить від 30,4 секунди для режиму, близького до офлайн-обробки, до 0,32 секунди для наднизької затримки. Ці показники не враховують обчислення, мережеву передачу та ASR.
У початковому Diarization-Bench від Voice Arena модель посіла перше місце серед 12 систем і 17 конфігурацій, отримавши 14,72% DER на 139 англомовних розмовах. За даними NVIDIA, середнє відносне зниження DER порівняно з чотиримовцевим Streaming Sortformer при затримці 1,04 секунди становило 41,0%. Понад вісім мовців, сильний шум, реверберація або запис із великої відстані можуть збільшувати кількість помилок. У Hugging Face Inference Providers модель поки недоступна.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.