Zyphra выпустила открытую модель синтеза речи ZONOS3-Mini
Zyphra выпустила ZONOS3-Mini — открытую модель синтеза речи, рассчитанную на работу в реальном времени на локальных устройствах. Архитектура sparse Mixture of Experts включает 800M параметров, из которых для каждого токена активны примерно 100M благодаря 64 экспертам и маршрутизации top-2. Веса распространяются по лицензии Apache 2.0. Модель поддерживает клонирование голоса без предварительного обучения и управление подачей речи на уровне отдельных слов.
ZONOS3-Mini запускается в браузере через WebGPU, на Apple Silicon через MLX, а также на CPU, CUDA, Metal или Vulkan с использованием ggml. Для NVIDIA GPU предусмотрена интеграция с SGLang-Omni; за один запрос можно создать до 10 минут аудио. По данным Zyphra, обучение проводилось на 112 NVIDIA H100 в течение 2,5 дня.
В самостоятельно опубликованной Zyphra оценке ZTTS2-Eval модель заняла первое место среди открытых моделей по Capability Index. Компания сообщает о медианном времени до первого аудио 80 мс на одном H100 при восьми параллельных запросах и о показателе менее 570 мс в браузере на Pixel 9. При этом Zyphra отмечает, что все тесты проводила сама, а клонирование по референсному аудиофрагменту заметно уступает режиму с голосовым embedding.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.