Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

Zyphra выпустила открытую модель синтеза речи ZONOS3-Mini

Zyphra выпустила ZONOS3-Mini — открытую модель синтеза речи, рассчитанную на работу в реальном времени на локальных устройствах. Архитектура sparse Mixture of Experts включает 800M параметров, из которых для каждого токена активны примерно 100M благодаря 64 экспертам и маршрутизации top-2. Веса распространяются по лицензии Apache 2.0. Модель поддерживает клонирование голоса без предварительного обучения и управление подачей речи на уровне отдельных слов.

ZONOS3-Mini запускается в браузере через WebGPU, на Apple Silicon через MLX, а также на CPU, CUDA, Metal или Vulkan с использованием ggml. Для NVIDIA GPU предусмотрена интеграция с SGLang-Omni; за один запрос можно создать до 10 минут аудио. По данным Zyphra, обучение проводилось на 112 NVIDIA H100 в течение 2,5 дня.

В самостоятельно опубликованной Zyphra оценке ZTTS2-Eval модель заняла первое место среди открытых моделей по Capability Index. Компания сообщает о медианном времени до первого аудио 80 мс на одном H100 при восьми параллельных запросах и о показателе менее 570 мс в браузере на Pixel 9. При этом Zyphra отмечает, что все тесты проводила сама, а клонирование по референсному аудиофрагменту заметно уступает режиму с голосовым embedding.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости