Fish Audio выпустила Drama 3 — 35B MoE-модель преобразования текста в речь с открытыми весами
На этой неделе Fish Audio выпустила Fish Audio Drama 3. Drama 3 — это модель преобразования текста в речь от Fish Audio, которая воспринимает указания по актёрской игре на естественном языке. Это модель типа mixture-of-experts на 35 млрд параметров, из которых на каждый токен активно около 3 млрд. Веса доступны на Hugging Face, а сама модель также работает через API Fish Audio. Для разработчиков это вариант для самостоятельного хостинга сценарных диалогов, аудиокниг и дубляжа.
Кратко
- Размер: всего 35 млрд параметров, около 3 млрд активных на токен (8 из 256 экспертов плюс 1 общий). Длина контекста: не раскрывается.
- Запуск: 1 графический процессор NVIDIA как минимум с 48 ГБ в FP8. CPU, Apple MPS и AMD ROCm не поддерживаются. В официальных тестах использовался 1 H200.
- Производительность: модель Fish Audio с самым высоким результатом в Artificial Analysis, но по показателю качества Elo всё ещё уступает нескольким закрытым API.
- Лучший результат: 95,9% для брендов, названий мест и технических терминов в тесте Artificial Analysis Pronunciation Robustness.
- Худший результат: 86,3% для точных последовательностей (кодов, путей, адресов электронной почты) — это самая слабая категория произношения.
- Итог:
- Плюсы: управляемая многоголосая речь с открытыми весами.
- Минусы: необходимость GPU с 48 ГБ памяти и лицензия с ограничением по выручке.
Что такое Fish Audio Drama 3?
Drama 3 превращает сценарий вместе с указаниями в квадратных скобках в выразительно озвученную речь. Перед репликой авторы размещают подсказки вроде [едва держась]. Парные теги, такие как <whisper>, изменяют только заключённые в них слова, согласно документации Drama 3. Указания можно писать на любом языке независимо от языка произносимой реплики.
Модель поддерживает 83 языка. Теги дикторов <|speaker:0|>–<|speaker:15|> позволяют добавить до 16 персонажей в 1 запрос. API принимает по 1 идентификатору голоса на каждого диктора, поэтому полноценная сцена создаётся за один вызов.
Как работает архитектура Drama 3?
Согласно публикации о запуске, в основе модели лежит языковая модель Qwen3.5-35B-A3B. Она содержит 40 слоёв, сгруппированных как 3 слоя Gated DeltaNet на 1 слой полного управляемого внимания. Только 1 слой из 4 сохраняет KV-кэш. Слои DeltaNet вместо этого хранят историю в состоянии постоянного размера.
Новый декодер Codebook-MTP заменяет поочерёдный Fast AR-декодер, использовавшийся в S2. Он содержит 4 общих слоя, передающих данные в 9 слоёв — по одному на каждый акустический кодбук. В основную модель возвращаются данные только из кодбуков 0 и 1; в S2 возвращались данные из всех 10.
Аудиотокенизатор не изменился по сравнению с S2. Он построен на Descript Audio Codec и выдаёт звук с частотой 44,1 кГц. Он работает со скоростью около 21,5 кадра в секунду.
Обучение включало 3 этапа предварительного обучения, затем дообучение на инструкциях и обучение с подкреплением. Для RL использовался GRPO без штрафа KL и с одной обучаемой моделью вознаграждения на основе человеческих предпочтений.
Как Drama 3 показывает себя в тестах?
Fish Audio сообщает, что общий результат Drama 3 в тесте Artificial Analysis Pronunciation Robustness составляет 93,2%, что выводит модель на 1-е место. Её предшественница S2.1 Pro набрала 88,1%. Люди оценивают произношение сложных английских слов в 4 категориях:
- Бренды, названия мест, технические термины: 95,9% (S2.1 Pro: 87,3%)
- Чтение, зависящее от контекста: 95,3% (86,1%)
- Сокращённые записи, такие как числа, даты и единицы измерения: 93,6% (92,7%)
- Точные последовательности, такие как коды, пути и адреса электронной почты: 86,3% (79,4%)
Этот тест оценивает произношение, а не эмоциональную подачу. Fish Audio описывает эмоциональные качества только качественно. В рейтинге качества Artificial Analysis модель «Drama 3 Preview» имеет рейтинг Elo 1242. Это выше, чем у S2.1 Pro (1190), но ниже, чем у Eleven v4 Turbo (1328).
Какое оборудование требуется Drama 3?
В руководстве по установке Fish Speech указано, что требуется как минимум 48 ГБ памяти графического процессора NVIDIA в FP8. CPU, Apple MPS и AMD ROCm не поддерживаются. Эксперты MoE поставляются в FP8, а остальные веса — в bf16.
В карточке модели приведены результаты потоковой работы на 1 H200. При 1 потоке медианное время до первого аудио составляет 88,9 мс, а коэффициент реального времени — 0,131. При 16 потоках пропускная способность достигает 927,6 кадра в секунду. Обслуживание выполняется через SGLang-Omni, чьи объединённые ядра проверены только на GPU Hopper.
Как получить доступ к Drama 3 и сколько это стоит?
В размещённом API укажите в заголовке model значение drama-3 для POST /v1/tts. В документации предупреждается, что отсутствующий или написанный с ошибкой заголовок автоматически переключает систему на s2.1-pro без уведомления. Стандартная цена составляет $50 за 1 млн символов. Цена $10 при запуске действует до 12 ноября 2026 года, согласно публикации о запуске.
Веса распространяются по лицензии Fish Audio Community License v1.0. Исследовательское и некоммерческое использование бесплатно. Коммерческое использование бесплатно при годовой выручке менее 500 000 долларов США. Для размещения Drama 3 в качестве стороннего API требуется отдельная лицензия. Продукты должны отображать надпись «Built with Fish Audio». Клонирование реального голоса без согласия запрещено.
Drama 3 в сравнении с ближайшими конкурентами
| Характеристика | Fish Audio Drama 3 | Fish Audio S2 Pro | ElevenLabs Eleven v4 Turbo | Qwen-Audio-3.0-TTS-Plus |
|---|---|---|---|---|
| Общий размер | 35B (MoE) | 5B (4B Slow AR + 400M Fast AR) | Не раскрывается | Не раскрывается |
| Активные параметры | ~3B | Не MoE | Не раскрывается | Не раскрывается |
| Веса | Открытые, Community License v1.0 | Открытые, Research License | API и приложения | API (Model Studio) |
| Языки | 83 | 80+ | 90+ | 8 указанных, плюс диалекты |
| Оборудование для самостоятельного хостинга | 48 ГБ+ NVIDIA, FP8 | 24 ГБ+ NVIDIA или CPU | Только размещённая версия | Только размещённая версия |
| Задержка | 88,9 мс TTFA p50, H200 | ~100 мс TTFA, H200 | ~150 мс — медианное время до первой речи | Не раскрывается |
| Elo качества AA (источник) | 1242 (Preview) | 1116 | 1328 | 1266 |
| Цена API за 1 млн символов | $50 стандартная, $10 до 12 ноября | $15 | $40 | $20, Сингапур |
Ключевые выводы
- Drama 3 — это TTS-модель MoE на 35 млрд параметров, из которых активно около 3 млрд.
- Указания на естественном языке и 16 дикторов в одном запросе ориентированы на сценарный аудиоконтент.
- 93,2% в тесте AA Pronunciation Robustness; результат для точных последовательностей отстаёт и составляет 86,3%.
- Для самостоятельного хостинга требуется 48 ГБ+ памяти NVIDIA в FP8.
- Бесплатное коммерческое использование доступно до достижения годовой выручки в 500 000 долларов США.
Ознакомьтесь с весами на Hugging Face, техническим отчётом, репозиторием GitHub и публикацией о запуске. Вся заслуга принадлежит исследователю этого проекта. Также не стесняйтесь подписаться на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? Теперь вы также можете присоединиться к нам в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.