Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← К новостям

Nvidia выпустила бесплатную модель для распознавания говорящих в реальном времени

Nvidia выпустила Nemotron 3 Diarization — модель искусственного интеллекта, определяющую, кто говорит в каждый момент разговора. В ней около 100 миллионов параметров, а веса доступны бесплатно. Модель различает до восьми участников и фиксирует случаи, когда несколько людей говорят одновременно. При увеличении числа участников, сильном фоновом шуме или реверберации частота ошибок возрастает.

Nemotron 3 работает с записями и потоковым аудио. В сочетании с системой распознавания речи, например Parakeet, он может создавать расшифровки с метками говорящих. Эти метки остаются анонимными — например, «speaker_2». Для аудио предусмотрены четыре варианта буфера длительностью от 30,4 до 0,32 секунды; более короткий буфер обычно ухудшает точность.

В Diarization Benchmark v1 от VoiceArena модель показала показатель ошибки диаризации 14,7%, тогда как у следующей системы он составил 19,3%. В тесте учитываются одновременная речь и небольшие ошибки синхронизации при смене говорящего. При буфере 1,04 секунды Nemotron 3 в среднем на 41% превзошёл Streaming Sortformer в восьми тестовых сценариях.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости