Zyphra випустила відкриту модель синтезу мовлення ZONOS3-Mini
Zyphra випустила ZONOS3-Mini — відкриту модель синтезу мовлення, призначену для роботи в реальному часі на локальних пристроях. Її розріджена архітектура Mixture of Experts містить 800M параметрів, із яких для кожного токена активними є близько 100M завдяки 64 експертам і маршрутизації top-2. Ваги поширюються за ліцензією Apache 2.0. Модель підтримує клонування голосу без попереднього навчання та керування подачею мовлення на рівні окремих слів.
ZONOS3-Mini працює в браузері через WebGPU, на Apple Silicon через MLX, а також на CPU, CUDA, Metal або Vulkan за допомогою ggml. Для GPU NVIDIA передбачено SGLang-Omni, а за один запит можна згенерувати до 10 хвилин аудіо. За даними Zyphra, модель навчали на 112 NVIDIA H100 протягом 2,5 дня.
У самостійно опублікованому Zyphra тестуванні ZTTS2-Eval модель посіла перше місце серед відкритих моделей за Capability Index. Компанія заявляє про медіанний час до першого аудіо 80 мс на одному H100 за восьми одночасних запитів і менш ніж 570 мс у браузері на Pixel 9. Водночас Zyphra зауважує, що всі тести проводила сама, а клонування за референсним аудіофрагментом дає значно нижчі результати, ніж режим із голосовим embedding.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.