Fish Audio випустила Drama 3 — 35B MoE-модель перетворення тексту на мовлення з відкритими вагами
Цього тижня Fish Audio випустила Fish Audio Drama 3. Drama 3 — це модель перетворення тексту на мовлення від Fish Audio, яка сприймає вказівки щодо акторської гри звичайною мовою. Це модель суміші експертів на 35B параметрів, у якій на токен активні приблизно 3B параметрів. Ваги доступні на Hugging Face, а сама модель також працює в API Fish Audio. Для розробників це варіант із можливістю самостійного розгортання для діалогів за сценарієм, аудіокниг і дубляжу.
Коротко
- Розмір: загалом 35B параметрів, приблизно 3B активних на токен (8 із 256 експертів плюс 1 спільний). Довжина контексту: не розкривається.
- Працює на: 1 графічному процесорі NVIDIA щонайменше з 48 GB у FP8. CPU, Apple MPS або AMD ROCm не підтримуються. В офіційних тестах використовується 1 H200.
- Продуктивність: модель Fish Audio з найвищим результатом у Artificial Analysis, але за якістю Elo все ще поступається кільком закритим API.
- Найкращий результат: 95,9% для брендів, назв місць і технічних термінів у тесті Artificial Analysis Pronunciation Robustness.
- Найгірший результат: 86,3% для точних послідовностей (кодів, шляхів, електронних адрес) — найслабша категорія вимови.
- Підсумок:
- Найкраще: кероване багатоголосе мовлення з відкритими вагами.
- Найгірше: вимога до GPU від 48 GB і ліцензія з обмеженням за доходом.
Що таке Fish Audio Drama 3?
Drama 3 перетворює сценарій разом із вказівками в дужках на мовлення з акторською подачею. Автори розміщують перед реплікою підказки на кшталт [barely holding it together]. Парні теги, як-от <whisper>, змінюють лише слова всередині них, згідно з документацією Drama 3. Вказівки можна писати будь-якою мовою, незалежно від мови репліки.
Модель підтримує 83 мови. Теги дикторів <|speaker:0|> до <|speaker:15|> дають змогу додати до 16 персонажів в одному запиті. API приймає по одному ідентифікатору голосу на кожного диктора, тому вся сцена генерується за один виклик.
Як працює архітектура Drama 3?
Згідно з публікацією про запуск, основа моделі походить від мовної моделі Qwen3.5-35B-A3B. Вона має 40 шарів, згрупованих як 3 шари Gated DeltaNet на 1 шар повної керованої уваги. Лише 1 із 4 шарів зберігає кеш KV. Натомість шари DeltaNet зберігають історію у стані сталого розміру.
Новий декодер Codebook-MTP замінює по-кадровий декодер Fast AR, який використовувався в S2. Він має 4 спільні шари, що подають дані на 9 шарів — по одному на кожен акустичний кодбук. До основної моделі повертаються дані лише з кодбуків 0 і 1; S2 повертав дані з усіх 10.
Аудіотокенізатор не змінився порівняно із S2. Він побудований на Descript Audio Codec і генерує аудіо з частотою дискретизації 44,1 кГц. Він працює зі швидкістю близько 21,5 кадру на секунду.
Навчання складалося з 3 етапів попереднього навчання, потім донавчання за інструкціями, а далі — навчання з підкріпленням. Для RL використовувався GRPO без штрафу KL і з єдиною навченою моделлю винагороди, яка відображає людські вподобання.
Як Drama 3 показує себе в тестах?
Fish Audio повідомляє, що загальний результат Drama 3 у тесті Artificial Analysis Pronunciation Robustness становить 93,2%, що відповідає 1-му місцю. Попередня модель S2.1 Pro набрала 88,1%. Люди оцінюють вимову складних англійських слів у 4 категоріях:
- Бренди, назви місць, технічні терміни: 95,9% (S2.1 Pro: 87,3%)
- Читання, що залежить від контексту: 95,3% (86,1%)
- Скорочені форми, як-от числа, дати й одиниці вимірювання: 93,6% (92,7%)
- Точні послідовності, як-от коди, шляхи й електронні адреси: 86,3% (79,4%)
Цей тест оцінює вимову, а не емоційну подачу. Fish Audio описує емоційну якість лише якісно. У рейтингу якості Artificial Analysis «Drama 3 Preview» має рейтинг Elo 1242. Це вище за результат S2.1 Pro — 1190, але нижче за Eleven v4 Turbo — 1328.
Яке обладнання потрібне Drama 3?
У посібнику зі встановлення Fish Speech зазначено щонайменше 48 GB пам’яті графічного процесора NVIDIA у FP8. CPU, Apple MPS і AMD ROCm не підтримуються. Експерти MoE постачаються у FP8, а решта ваг — у bf16.
У картці моделі наведено результати потокової обробки на 1 H200. Для 1 потоку медіанний час до першого аудіо становить 88,9 мс, а коефіцієнт реального часу — 0,131. Для 16 потоків пропускна здатність сягає 927,6 кадру на секунду. Обслуговування виконується через SGLang-Omni, чиї об’єднані ядра перевірені лише на GPU Hopper.
Як отримати доступ до Drama 3 і скільки це коштує?
У розміщеному API встановіть заголовок model у значення drama-3 для POST /v1/tts. У документації попереджається, що відсутній або неправильно написаний заголовок непомітно перемикає систему на s2.1-pro. Стандартна ціна становить $50 за 1M символів. Акційна ціна $10 діє до 12 листопада 2026 року, згідно з публікацією про запуск.
Ваги використовують Fish Audio Community License v1.0. Дослідницьке та некомерційне використання безкоштовні. Комерційне використання безкоштовне за річного доходу до 500 000 доларів США. Для розміщення Drama 3 як стороннього API потрібна окрема ліцензія. Продукти повинні містити напис «Built with Fish Audio». Клонування реального голосу без згоди заборонене.
Drama 3 у порівнянні з найближчими конкурентами
| Функція | Fish Audio Drama 3 | Fish Audio S2 Pro | ElevenLabs Eleven v4 Turbo | Qwen-Audio-3.0-TTS-Plus |
|---|---|---|---|---|
| Загальний розмір | 35B (MoE) | 5B (4B Slow AR + 400M Fast AR) | Не розкривається | Не розкривається |
| Активні параметри | ~3B | Не MoE | Не розкривається | Не розкривається |
| Ваги | Відкриті, Community License v1.0 | Відкриті, Research License | API та застосунки | API (Model Studio) |
| Мови | 83 | 80+ | 90+ | 8 зазначених, плюс діалекти |
| Обладнання для самостійного розгортання | 48 GB+ NVIDIA, FP8 | 24 GB+ NVIDIA або CPU | Лише розміщення | Лише розміщення |
| Затримка | 88,9 мс TTFA p50, H200 | ~100 мс TTFA, H200 | ~150 мс медіанного часу до першого мовлення | Не розкривається |
| AA якість Elo (джерело) | 1242 (Preview) | 1116 | 1328 | 1266 |
| Ціна API за 1M символів | $50 стандартна, $10 до 12 листопада | $15 | $40 | $20, Сінгапур |
Основні висновки
- Drama 3 — це TTS-модель MoE на 35B параметрів із ~3B активних параметрів.
- Вказівки звичайною мовою та 16 дикторів на запит орієнтовані на аудіо за сценарієм.
- 93,2% у тесті AA Pronunciation Robustness; точні послідовності відстають із результатом 86,3%.
- Для самостійного розгортання потрібно щонайменше 48 GB пам’яті NVIDIA у FP8.
- Безкоштовне комерційне використання припиняється за річного доходу 500 000 доларів США.
Перегляньте ваги на Hugging Face, технічний звіт, репозиторій GitHub і публікацію про запуск. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання з понад 150 тисячами учасників і підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.