Fish Audio пуска Drama 3, 35B MoE модел за преобразуване на текст в реч с отворени тегла

Тази седмица Fish Audio пусна Fish Audio Drama 3. Drama 3 е модел за преобразуване на текст в реч от Fish Audio, който приема инструкции за актьорско изпълнение на естествен език. Това е модел с 35B параметъра от типа mixture-of-experts, като за всеки токен се активират около 3B параметъра. Теглата са налични в Hugging Face, а моделът работи и в API на Fish Audio. За разработчиците това е опция за самостоятелно хостване на писани диалози, аудиокниги и дублаж.

Накратко

Размер: Общо 35B параметъра, около 3B активни за токен (8 от 256 експерта плюс 1 споделен). Дължина на контекста: не е обявена.
Работи на: 1 NVIDIA GPU с поне 48 GB във FP8. Не поддържа CPU, Apple MPS или AMD ROCm. Официалните тестове използват 1 H200.
Производителност: Моделът на Fish Audio с най-висок резултат в Artificial Analysis, но все още изостава по Elo за качество от няколко затворени API.
Най-добър резултат: 95,9% при марки, места и технически термини в теста Artificial Analysis Pronunciation Robustness.
Най-слаб резултат: 86,3% при точни последователности (кодове, пътища, имейли) — най-слабата му категория за произношение.
Извод:
- Най-добро: реч с възможност за директно управление и множество говорители, с отворени тегла.
- Най-слабо: минимално изискване от 48 GB GPU памет и лиценз с ограничение според приходите.

Какво представлява Fish Audio Drama 3?

Drama 3 превръща сценарий с инструкции в скоби в изразителна реч. Авторите поставят указания като [едва успява да се овладее] преди репликата. Сдвоени тагове като <whisper> променят само оградените думи според документацията за Drama 3. Инструкциите могат да бъдат написани на всеки език, независимо от езика на произнесената реплика.

Моделът поддържа 83 езика. Таговете за говорители <|speaker:0|> до <|speaker:15|> позволяват до 16 персонажа в 1 заявка. API приема 1 идентификатор на глас за всеки говорител, така че цяла сцена се генерира с едно извикване.

Как работи архитектурата на Drama 3?

Според публикацията за представянето основата започва от езиковия модел Qwen3.5-35B-A3B. Той има 40 слоя, групирани като 3 слоя Gated DeltaNet на всеки 1 слой с пълно gated внимание. Само 1 от всеки 4 слоя поддържа KV кеш. Вместо това слоевете DeltaNet съхраняват историята в състояние с постоянен размер.

Нов декодер Codebook-MTP заменя използвания в S2 Fast AR декодер за всеки кадър. Той има 4 споделени слоя, които подават към 9 слоя — по 1 за всеки акустичен кодбук. Само кодбукове 0 и 1 подават обратна информация към основата; S2 подаваше обратно информация от всичките 10.

Токенизаторът на аудио е непроменен спрямо S2. Той е изграден върху Descript Audio Codec и извежда аудио с честота 44,1 kHz. Работи с около 21,5 кадъра в секунда.

Обучението премина през 3 етапа на предварително обучение, след това донастройване с инструкции и накрая обучение с подсилване. При RL е използван GRPO без KL наказание и един обучен модел за награда, базиран на човешки предпочитания.

Как се представя Drama 3 в тестовете?

Fish Audio отчита за Drama 3 общ резултат от 93,2% в Artificial Analysis Pronunciation Robustness, което го поставя на първо място. Неговият предшественик S2.1 Pro е получил 88,1%. Човешки слушатели оценяват трудни английски думи в 4 категории:

Марки, места, технически термини: 95,9% (S2.1 Pro: 87,3%)
Зависими от контекста прочити: 95,3% (86,1%)
Съкратени форми като числа, дати и мерни единици: 93,6% (92,7%)
Точни последователности като кодове, пътища и имейли: 86,3% (79,4%)

Този тест оценява произношението, а не емоционалното изпълнение. Fish Audio описва емоционалното качество само качествено. В класацията за качество на Artificial Analysis „Drama 3 Preview“ има Elo 1242. Това е повече от S2.1 Pro с 1190, но по-малко от Eleven v4 Turbo с 1328.

Какъв хардуер е необходим на Drama 3?

Ръководството за инсталиране на Fish Speech посочва поне 48 GB памет на NVIDIA GPU във FP8. CPU, Apple MPS и AMD ROCm не се поддържат. Експертите на MoE се предоставят във FP8, а останалите тегла са във bf16.

Картата на модела отчита резултати за стрийминг на 1 H200. При 1 поток медианното време до първото аудио е 88,9 ms, а коефициентът в реално време е 0,131. При 16 потока пропускателната способност достига 927,6 кадъра в секунда. Обслужването се извършва чрез SGLang-Omni, чиито обединени ядра са валидирани само върху Hopper GPU.

Как се получава достъп до Drama 3 и колко струва?

В хостваното API задайте хедъра model на drama-3 при POST /v1/tts. Документацията предупреждава, че липсващ или изписан неправилно хедър тихомълком преминава към s2.1-pro. Стандартната цена е $50 за 1 млн. знака. Промоционалната цена от $10 важи до 12 ноември 2026 г. според публикацията за представянето.

Теглата използват Fish Audio Community License v1.0. Изследователската и некомерсиалната употреба са безплатни. Търговската употреба е безплатна при годишни приходи под 500 000 щатски долара. Хостването на Drama 3 като API на трета страна изисква отделен лиценз. Продуктите трябва да показват „Built with Fish Audio“. Клонирането на реален глас без съгласие е забранено.

Drama 3 спрямо най-близките конкуренти

Функция	Fish Audio Drama 3	Fish Audio S2 Pro	ElevenLabs Eleven v4 Turbo	Qwen-Audio-3.0-TTS-Plus
Общ размер	35B (MoE)	5B (4B Slow AR + 400M Fast AR)	Не е обявен	Не е обявен
Активни параметри	~3B	Не е MoE	Не са обявени	Не са обявени
Тегла	Отворени, Community License v1.0	Отворени, Research License	API и приложения	API (Model Studio)
Езици	83	80+	90+	8 изброени плюс диалекти
Хардуер за самостоятелно хостване	48 GB+ NVIDIA, FP8	24 GB+ NVIDIA или CPU	Само хостван	Само хостван
Латентност	88,9 ms TTFA p50, H200	~100 ms TTFA, H200	~150 ms медианно време до първата реч	Не е обявена
AA Elo за качество (източник)	1242 (Preview)	1116	1328	1266
Цена на API за 1 млн. знака	$50 стандартна, $10 до 12 ноември	$15	$40	$20, Сингапур

Основни изводи

Drama 3 е TTS модел с 35B параметъра от типа MoE и ~3B активни параметъра.
Инструкциите на естествен език и 16-те говорители в заявка са насочени към писано аудио съдържание.
93,2% в AA Pronunciation Robustness; точните последователности изостават с 86,3%.
Самостоятелното хостване изисква 48 GB+ NVIDIA памет във FP8.
Безплатната търговска употреба спира при годишни приходи от 500 000 щатски долара.

Разгледайте теглата в Hugging Face, техническия доклад, GitHub хранилището и публикацията за представянето. Цялата заслуга е на изследователя на този проект. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.