Nvidia випустила безкоштовну модель для розпізнавання мовців у реальному часі
Nvidia випустила Nemotron 3 Diarization — модель штучного інтелекту, яка визначає, хто говорить у кожен момент розмови. Вона має близько 100 мільйонів параметрів, а її ваги доступні безкоштовно. Модель розрізняє до восьми мовців і виявляє одночасне мовлення кількох людей. Більша кількість учасників, сильний фоновий шум або реверберація підвищують рівень помилок.
Система працює із записами та аудіо в реальному часі. У поєднанні із системою розпізнавання мовлення, такою як Parakeet, вона може створювати транскрипції з позначками мовців. Водночас ці позначки залишаються анонімними, наприклад «speaker_2». Доступні чотири налаштування аудіобуфера — від 30,4 до 0,32 секунди. Коротші буфери зазвичай знижують точність.
У Diarization Benchmark v1 від VoiceArena Nemotron 3 показала рівень помилок діаризації 14,7%, тоді як у наступної системи він становив 19,3%. Тест враховує перекривання мовлення та навіть незначні зміщення під час зміни мовця. За буфера 1,04 секунди нова модель у середньому на 41% перевершила Streaming Sortformer у восьми тестових сценаріях.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.