Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← До новин

NVIDIA випустила відкриту мовну модель VoiceChat 11B

NVIDIA представила NemotronLabs VoiceChat 11B — відкриту модель із 11B параметрів для розмов у реальному часі в повнодуплексному режимі. Вона поєднує розуміння та генерацію мовлення в одній потоковій системі, замість послідовного використання ASR, мовної моделі й TTS. На Full-Duplex-Bench 1.0 виміряна затримка плавної зміни черги становить 448 мс. Модель слухає під час власної відповіді, а після втручання користувача передає йому чергу; показник take-over rate сягає 1.00 при 480 мс.

Для виклику інструментів використовується окремий канал зі скриптами <TOOLCALL>. Для кожного інструмента оператор може визначити репліку «on-hold», яку система промовляє, доки API обробляє запит. NVIDIA радить використовувати не більш як п’ять інструментів за сесію. Надійний одночасний виклик кількох інструментів не гарантується, а перервати модель під час виконання виклику неможливо. У тестах прості голосові виклики інструментів дали 58.5%, а вибір інструмента у Full-Duplex-Bench v3 — 82.5%.

Ваги й контейнер доступні за дозвільною ліцензією OpenMDW-1.1, але NVIDIA позначає контрольну точку як призначену лише для досліджень. Серед описаних проблем — двохвилинне обмеження аудіоконтексту, перехід до нерозбірливої мови після кількох ходів, некероване продовження мовлення та пропуски слів у транскрипції. Для запуску потрібен GPU щонайменше з 80 GB відеопам’яті; готового хостованого API наразі немає.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини