NVIDIA пусна отворен модел за говор VoiceChat 11B
NVIDIA представи NemotronLabs VoiceChat 11B — отворен модел с 11B параметъра за разговори в реално време и пълен дуплекс. Той обединява разбирането и генерирането на реч в единна поточна система, вместо да свързва отделни ASR, езиков модел и TTS компоненти. Измерената латентност при плавно поемане на реда е 448 ms според Full-Duplex-Bench 1.0. Моделът слуша, докато говори, и при прекъсване предава управлението с показател 1.00 при 480 ms.
VoiceChat 11B има отделен канал за скриптове <TOOLCALL> и поддържа предварително зададени реплики „on-hold“, които се произнасят, докато се изпълнява заявка към API. NVIDIA препоръчва до пет инструмента в сесия; едновременното извикване на няколко инструмента не е надеждно, а прекъсване по време на изпълнението не е възможно. При тестове точността при прости гласови извиквания е 58.5%, а изборът на инструмент във Full-Duplex-Bench v3 — 82.5%.
Теглата и контейнерът са публични и се разпространяват с разрешителния лиценз OpenMDW-1.1, но NVIDIA определя модела като предназначен само за изследвания. Документирани са ограничение до две минути аудиоконтекст, възможни неразбираеми изходи след няколко хода, самоподдържана реч и пропуски в транскрипцията. Необходим е GPU с поне 80 GB памет, а хостван API засега няма.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.