Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← К новостям

NVIDIA выпустила открытую речевую модель VoiceChat 11B

NVIDIA представила NemotronLabs VoiceChat 11B — открытую модель с 11B параметров для разговоров в реальном времени в полнодуплексном режиме. Она объединяет распознавание и синтез речи в одной потоковой системе, не используя отдельную цепочку ASR, языковой модели и TTS. На Full-Duplex-Bench 1.0 измеренная задержка плавной передачи очереди составляет 448 мс. Модель одновременно слушает и говорит, а при вмешательстве пользователя передаёт ему ход с показателем take-over rate 1.00 при 480 мс.

Для вызова инструментов предусмотрен отдельный канал со скриптами <TOOLCALL>. Оператор может задать для каждого инструмента реплику «on-hold», которую система произносит во время ожидания ответа API. NVIDIA рекомендует использовать не более пяти инструментов за сессию; надёжная параллельная работа нескольких инструментов не гарантируется, а прервать модель во время выполнения вызова нельзя. В тестах простые голосовые вызовы инструментов достигли 58.5%, а выбор инструмента в Full-Duplex-Bench v3 — 82.5%.

Веса и контейнер опубликованы по разрешительной лицензии OpenMDW-1.1, однако NVIDIA обозначает контрольную точку как предназначенную только для исследований. Среди указанных ограничений — двухминутный предел аудиоконтекста, переход к бессвязной речи после нескольких ходов, продолжение самостоятельной речи и пропуски слов в транскрипции. Для запуска нужен GPU минимум с 80 GB видеопамяти; размещённого API пока нет.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости