NVIDIA випустила відкриту мовну модель VoiceChat 11B
NVIDIA представила NemotronLabs VoiceChat 11B — відкриту модель із 11B параметрів для розмов у реальному часі в повнодуплексному режимі. Вона поєднує розуміння та генерацію мовлення в одній потоковій системі, замість послідовного використання ASR, мовної моделі й TTS. На Full-Duplex-Bench 1.0 виміряна затримка плавної зміни черги становить 448 мс. Модель слухає під час власної відповіді, а після втручання користувача передає йому чергу; показник take-over rate сягає 1.00 при 480 мс.
Для виклику інструментів використовується окремий канал зі скриптами <TOOLCALL>. Для кожного інструмента оператор може визначити репліку «on-hold», яку система промовляє, доки API обробляє запит. NVIDIA радить використовувати не більш як п’ять інструментів за сесію. Надійний одночасний виклик кількох інструментів не гарантується, а перервати модель під час виконання виклику неможливо. У тестах прості голосові виклики інструментів дали 58.5%, а вибір інструмента у Full-Duplex-Bench v3 — 82.5%.
Ваги й контейнер доступні за дозвільною ліцензією OpenMDW-1.1, але NVIDIA позначає контрольну точку як призначену лише для досліджень. Серед описаних проблем — двохвилинне обмеження аудіоконтексту, перехід до нерозбірливої мови після кількох ходів, некероване продовження мовлення та пропуски слів у транскрипції. Для запуску потрібен GPU щонайменше з 80 GB відеопам’яті; готового хостованого API наразі немає.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.