NVIDIA выпустила открытую речевую модель VoiceChat 11B
NVIDIA представила NemotronLabs VoiceChat 11B — открытую модель с 11B параметров для разговоров в реальном времени в полнодуплексном режиме. Она объединяет распознавание и синтез речи в одной потоковой системе, не используя отдельную цепочку ASR, языковой модели и TTS. На Full-Duplex-Bench 1.0 измеренная задержка плавной передачи очереди составляет 448 мс. Модель одновременно слушает и говорит, а при вмешательстве пользователя передаёт ему ход с показателем take-over rate 1.00 при 480 мс.
Для вызова инструментов предусмотрен отдельный канал со скриптами <TOOLCALL>. Оператор может задать для каждого инструмента реплику «on-hold», которую система произносит во время ожидания ответа API. NVIDIA рекомендует использовать не более пяти инструментов за сессию; надёжная параллельная работа нескольких инструментов не гарантируется, а прервать модель во время выполнения вызова нельзя. В тестах простые голосовые вызовы инструментов достигли 58.5%, а выбор инструмента в Full-Duplex-Bench v3 — 82.5%.
Веса и контейнер опубликованы по разрешительной лицензии OpenMDW-1.1, однако NVIDIA обозначает контрольную точку как предназначенную только для исследований. Среди указанных ограничений — двухминутный предел аудиоконтекста, переход к бессвязной речи после нескольких ходов, продолжение самостоятельной речи и пропуски слов в транскрипции. Для запуска нужен GPU минимум с 80 GB видеопамяти; размещённого API пока нет.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.