Phonon переносить багатомовний синтез мовлення на пристрої

Phonon — компактна модель синтезу мовлення, яка працює безпосередньо на телефонах, ноутбуках, одноплатних комп’ютерах і в браузері, без сервера та підключення до мережі. Розробники випустили дві версії розміром приблизно 65 МБ і 75 МБ. Разом вони підтримують англійську, французьку, німецьку, іспанську та португальську мови, а також понад 100 вбудованих голосів. Власні голоси можна створювати в Gradium Studio за допомогою клонування або опису голосу.

Модель Phonon 31m доступна за ліцензією Apache 2.0, зокрема для комерційних продуктів. Phonon 40m охоплює всі п’ять мов, але має ліцензію для некомерційного використання. Модель належить до лінійки Pocket TTS і застосовує flow matching. За словами розробників, вона також обробляє телефонні номери, дати й коди.

У Open TTS Leaderboard від Hugging Face Phonon посіла перше місце за розбірливістю для німецької та іспанської мов і потрапила до трійки лідерів для кожної оціненої мови. У тесті потокової роботи на CPU моделі показали найкращий час до появи першого аудіо. Спеціальний фреймворк ptts підтримує понад 10 CPU-, GPU- та NPU-бекендів, а інтеграція з Transformers доступна з версії 5.21. За перші два тижні Phonon завантажили понад 200 000 разів.