NVIDIA Magpie TTS разширява поддръжката до 12 езика
NVIDIA представи обновения модел за синтез на реч Magpie TTS Multilingual с отворени тегла, поддръжка на 12 езика и варианти за внедряване в инфраструктура, контролирана от разработчиците. Моделът с 364M параметра добавя съвременен стандартен арабски, корейски и бразилски португалски към английски, испански, френски, немски, италиански, виетнамски, мандарин, хинди и японски. За всеки език са налични мъжки и женски гласове чрез общо многоезично представяне на говорителя.
Новата версия подобрява и превключването между езици при хинди и японски чрез IPA обработка за преобразуване от графеми към фонеми и персонализирани речници за произношение. Според NVIDIA са отчетени подобрения в няколко езика. При френски например процентът на грешките по символи е намалял от 2.70% на 1.54%, а сходството на говорителя се е повишило от 0.703 на 0.747.
Измерванията на контейнера NVIDIA NIM, извършени локално, показват време до първия звук от 32–79 ms при един поток върху различни графични процесори. При 64 потока B200 достига 239 ms и производителност 319.81× спрямо реалното време. Архитектурата използва групиране на аудиокадри и локален трансформатор за по-бързо генериране. Моделът може да се изпълнява локално и да се дообучава с NeMo.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.