Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← К новостям

NVIDIA выпустила модель для отслеживания до восьми говорящих

NVIDIA выпустила Nemotron 3 Diarization — модель со 100 миллионами параметров и открытыми весами, доступную на Hugging Face. Она определяет, когда говорит каждый участник, и отслеживает до восьми говорящих, в том числе при одновременной речи. Один checkpoint предназначен и для записей, и для потоковой работы в реальном времени. Лицензия OpenMDW License 1.1 разрешает коммерческое использование.

Модель принимает одноканальный звук с частотой 16 kHz и формирует временные интервалы с анонимными метками говорящих. Она работает в Linux через NVIDIA NeMo на GPU архитектур Ampere, Ada Lovelace, Hopper или Blackwell. Рекомендуемая задержка входного буфера составляет от 30,4 секунды в режиме, близком к офлайн-обработке, до 0,32 секунды в режиме сверхнизкой задержки. В эти значения не входят вычисления, сетевой обмен и работа ASR.

В первоначальном Diarization-Bench от Voice Arena модель заняла первое место среди 12 систем и 17 конфигураций: 14,72% DER на 139 англоязычных разговорах. По данным NVIDIA, среднее относительное снижение DER против четырехголосового Streaming Sortformer при задержке 1,04 секунды составило 41,0%. Более восьми говорящих, сильный шум, реверберация и запись на большом расстоянии могут повысить число ошибок. В Hugging Face Inference Providers модель пока недоступна.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости