Phonon переносит многоязычный синтез речи на устройства

Phonon — компактная модель синтеза речи, которая работает непосредственно на телефонах, ноутбуках, одноплатных компьютерах и в браузере, не обращаясь к серверу и не требуя подключения к сети. Разработчики выпустили две версии размером примерно 65 МБ и 75 МБ. В совокупности они поддерживают английский, французский, немецкий, испанский и португальский языки, а также более 100 встроенных голосов. Пользовательские голоса можно создавать в Gradium Studio с помощью клонирования или описания голоса.

Модель Phonon 31m распространяется по лицензии Apache 2.0, включая коммерческое использование. Phonon 40m поддерживает все пять языков, но предназначена для некоммерческих проектов. Модель относится к линии Pocket TTS и использует flow matching. По данным разработчиков, она также корректно обрабатывает телефонные номера, даты и коды.

В Open TTS Leaderboard от Hugging Face Phonon заняла первое место по разборчивости для немецкого и испанского языков и вошла в тройку лидеров для каждого проверенного языка. В тесте потоковой работы на CPU модели показали лучшее время до появления первого аудио. Специальная система ptts поддерживает более 10 CPU-, GPU- и NPU-бэкендов, а интеграция с Transformers доступна начиная с версии 5.21. За первые две недели Phonon скачали более 200 000 раз.