Edge0 выпустила Audio8-TTS-Realistic — TTS-модель клонирования голоса на 0,6 млрд параметров

Edge0 выпустила Audio8-TTS-Realistic — модель преобразования текста в речь с открытыми весами для клонирования голоса в режиме zero-shot. Audio8-TTS-Realistic — это модель с 0,6 млрд параметров, которая клонирует голос по одному эталонному аудиофрагменту и его расшифровке. Она поддерживает 23 языка — на 12 больше, чем предшественник. Веса и код распространяются по лицензии Apache 2.0. Для разработчиков главное преимущество — конкурентная многоязычная точность при размере, который делает дообучение и развёртывание недорогими.

Кратко

Размер: 601 млн параметров основной модели (кодек не учитывается); контекст — до 2 048 упакованных текстовых и аудиопозиций.
Запуск: рекомендуется CUDA GPU; тестирование выполнено на NVIDIA H20 в BF16. В статье сообщается о пиковом потреблении памяти от 1,1 до 1,2 ГиБ на процессоре Apple M2 (INT4 ONNX). Публичного экспорта Realistic в ONNX пока нет.
Производительность: превосходит более крупные открытые модели в CV3, но уступает моделям класса 4B в MiniMax.
Лучший результат: средняя ошибка CV3 — 4,86% для 9 языков против 7,73% у Qwen3-TTS-1.7B.
Худший результат: WER 48,57% для тайского языка (CV3) и CER 31,35% для кантонского (MiniMax).

Что такое Audio8-TTS-Realistic?

Это второй релиз объёмом 0,6B в семействе Audio8 TTS от Edge0. Он создан на основе Audio8-TTS-Preview-0.6b и сохраняет тот же интерфейс инференса Transformers. Репозиторий включает чекпойнт, нейронный аудиокодек с частотой 44,1 кГц, токенизатор, процессор и пользовательский код. Модель также может генерировать речь без эталонного голоса.

Новые языки: арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский.

Как работает архитектура?

Модель использует двухавторегрессионную архитектуру (DualAR), вдохновлённую Fish Audio S2 Pro. Согласно техническому исследовательскому отчёту, медленная ветвь построена на базе Qwen2.5 0.5B. Она состоит из 24 слоёв с размерностью 896 и работает примерно со скоростью 21,5 кадра в секунду. На каждом шаге она предсказывает текстовые токены и первый аудиокодбук.

Затем неглубокая быстрая ветвь из 4 слоёв параллельно предсказывает оставшиеся 9 кодбуков. Таким образом, последовательные вычисления выполняются только на уровне кадров.

Как Edge0 обучает модель реалистичности?

Команда утверждает, что показатель частоты ошибок слов (WER) и сходство говорящего (SIM) не учитывают ритм, паузы и тайминг. Модель может хорошо оцениваться по обоим показателям и при этом всё равно звучать синтетически.

Обучение проходит в 3 этапа:

Многоязычное обучение с учителем (SFT).
GRPO с комбинированной наградой: вес WER — 0,7, вес SIM — 0,3.
GRPO под руководством обученного критика реалистичности.

Критик оценивает каждый результат по сравнению с соответствующей человеческой записью того же предложения. Он обучался на шкале качества, составленной из 6 систем TTS с открытым исходным кодом. Их ранжировали в закрытом слепом исследовании с прослушиванием, причём человеческие записи находились на вершине. Дополнительное сжатие пауз добавляет шкале более тонкие градации.

Функция потерь для стирания идентичности не позволяет критику вознаграждать характерные признаки генератора. Голова критика содержит около 3 млн параметров поверх замороженного кодировщика WavLM-large. Штраф за длительность также применяется, если длина превышает 1,35 длины эталона. Это не позволяет политике «обманывать» критика за счёт более медленной речи.

На финальном этапе использовались только запросы на китайском и английском языках. Тем не менее это улучшило оба совокупных показателя для 13 языков с меньшими объёмами ресурсов. Их ошибка снизилась с 22,53% до 20,77%, а SIM вырос с 0,637 до 0,679.

Step through</button> </div> <div id="a8-stage"></div> <p class="note">На этапе повышения реалистичности использовались только запросы на китайском и английском языках, однако оба показателя для 13 дополнительных языков улучшились. Источник: технический отчёт, таблица 1.</p> </div> <div class="pn" data-p="bench"> <div class="ctrl"> <button class="btn on" data-b="cv3">CV3 (9 языков)</button> <button class="btn" data-b="mm">MiniMax (24 языка)</button> <button class="btn" data-b="seed">Seed-TTS EN/ZH</button> </div> <div id="a8-bench"></div> <p class="note" id="a8-bnote"></p> </div> <div class="pn" data-p="lang"> <div class="ctrl"> <button class="btn on" data-l="az">От А до Я</button> <button class="btn" data-l="best">Сначала лучшие</button> <button class="btn" data-l="worst">Сначала худшие</button> </div> <div class="lg" id="a8-lang"></div> <p class="note">Показатель ошибки CV3 по языкам (CER для китайского, японского и корейского; WER для остальных). По 500 элементов на каждый язык. Более короткая полоса означает лучший результат.</p> </div> <div class="pn" data-p="run"> <p><b>Transformers</b> (PyTorch 2.5+, Transformers 4.57+, рекомендуется CUDA GPU):</p> <pre><code>model_id = "Edge0/Audio8-TTS-Realistic-0.6b" processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) model = AutoModel.from_pretrained(model_id, trust_remote_code=True)</code></pre> <p><b>Развёртывание:</b> адаптер SGLang Omni с постраничным механизмом внимания, динамической пакетной обработкой и совместимым с OpenAI API <code>/v1/audio/speech</code>. Edge0 не проводила тестирование пропускной способности и потоковой генерации.</p> <p><b>CPU:</b> в статье сообщается о пиковом потреблении от 1,1 до 1,2 ГиБ на Apple M2 с INT4 ONNX. В репозитории указано, что экспорт Realistic в ONNX пока недоступен.</p> </div> <div class="ft"><span>Цифры предоставлены самой Edge0; показатели конкурентов взяты из их собственных источников или оценки Boson AI.</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div> </div> <script> (function(){ var R=document.getElementById('mtp-a8tts'); function rs(){try{parent.postMessage({mtpEmbedHeight:R.offsetHeight+40,id:'mtp-a8tts'},'*')}catch(e){}} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} $$('.tab').forEach(function(t){t.onclick=function(){ $$('.tab').forEach(function(x){x.setAttribute('aria-selected',x===t?'true':'false')}); $$('.pn').forEach(function(p){p.classList.toggle('on',p.getAttribute('data-p')===t.getAttribute('data-t'))}); if(t.getAttribute('data-t')==='bench')bench(curB); if(t.getAttribute('data-t')==='train')stage(curG); if(t.getAttribute('data-t')==='lang')lang(curL); setTimeout(rs,60);};}); /* архитектура */ var D=['Эталонный аудиофрагмент и его точная расшифровка задают условия для модели. Модель также может генерировать речь без эталона.', 'Медленная ветвь построена на Qwen2.5 0.5B. Один раз за аудиокадр она предсказывает текстовые токены и первый из 10 кодбуков.', 'Быстрая ветвь из 4 слоёв считывает скрытое состояние медленной ветви и параллельно предсказывает оставшиеся 9 кодбуков, не добавляя дополнительных последовательных шагов.', 'Встроенный кодек преобразует 10 кодбуков по 4 096 элементов в каждом кадре обратно в форму волны с частотой 44,1 кГц. Он не учитывается в 0,6B параметров.']; var det=R.querySelector('#a8-detail');det.textContent=D[0]; $$('.blk').forEach(function(b){b.onclick=b.onmouseenter=function(){$$('.blk').forEach(function(x){x.classList.toggle('on',x===b)});det.textContent=D[+b.getAttribute('data-d')]};}); var F=R.querySelector('#a8-frames'),N=16,html=''; for(var i=0;i<N;i++){html+='<div class="fr">';for(var c=0;c<10;c++)html+='<div class="cb"></div>';html+='</div>'} F.innerHTML=html;var fr=$$('.fr'),k=0; setInterval(function(){var col=fr[k%N].children; if(k%N===0)fr.forEach(function(f){Array.prototype.forEach.call(f.children,function(x){x.className='cb'})}); col[0].className='cb s';setTimeout(function(){for(var c=1;c<10;c++)col[c].className='cb f'},180);k++;},420); /* обучение */ var G=[[5.41,0.639,22.36,0.638],[5.01,0.643,22.53,0.637],[4.86,0.661,20.77,0.679]],curG=0; var LB=['Ошибка CV3, % (9 языков)','CV3 SIM','Ошибка для дополнительных 13 языков, %','SIM для дополнительных 13 языков'],MX=[25,1,25,1]; function stage(g){curG=g;$$('.stp').forEach(function(s){s.classList.toggle('on',+s.getAttribute('data-s')<=g)}); $$('[data-g]').forEach(function(b){b.classList.toggle('on',+b.getAttribute('data-g')===g)}); var h='';for(var i=0;i<4;i++){h+='<div class="mrow"><span class="lab">'+LB[i]+'</span><div class="trk"><div class="bar me" data-w="'+(G[g][i]/MX[i]*100)+'"></div></div><span class="val">'+(i%2?G[g][i].toFixed(3):G[g][i].toFixed(2)+'%')+(g?'<br><small style="color:#9a9a9f">'+((G[g][i]-G[0][i])>0?'+':'')+(G[g][i]-G[0][i]).toFixed(i%2?3:2)+' по сравнению с SFT</small>':'')+'</span></div>'} var el=R.querySelector('#a8-stage');el.innerHTML=h;grow(el);setTimeout(rs,60);} $$('[data-g]').forEach(function(b){b.onclick=function(){stopP();stage(+b.getAttribute('data-g'))}}); var P=null;function stopP(){if(P){clearInterval(P);P=null;R.querySelector('#a8-play').textContent=' Перейти по шагам'}} R.querySelector('#a8-play').onclick=function(){if(P){stopP();return}var g=0;stage(0);this.textContent='■ Остановить';P=setInterval(function(){g++;if(g>2){stopP();return}stage(g)},1500)}; function grow(el){requestAnimationFrame(function(){requestAnimationFrame(function(){Array.prototype.forEach.call(el.querySelectorAll('[data-w]'),function(b){b.style.width=b.getAttribute('data-w')+'%'})})})} /* тесты */ var B={cv3:{max:9,rows:[['Higgs TTS 3 (~4B)',4.41],['Audio8-Realistic (0.6B)',4.86,1],['VoxCPM2 (2B)',5.35],['CosyVoice3 (1.5B)',6.89],['Qwen3-TTS (1.7B)',7.73]],n:'Средняя ошибка CV3 по макроусреднению, без сложных подмножеств. Показатели Higgs и Qwen3-TTS взяты из оценки Boson AI; VoxCPM2 и CosyVoice3 — из репозитория VoxCPM.'}, mm:{max:30,rows:[['Higgs TTS 3 (~4B)',2.74],['Audio8-Realistic (0.6B)',5.89,1],['Qwen3-TTS (1.7B)',27.41]],n:'Средний показатель для 24 языков MiniMax, включая языки, которые не поддерживаются отдельными моделями. Qwen3-TTS поддерживает 10 из 24 языков.'}, seed:{max:2,rows:[['Qwen3-TTS (1.7B)',1.01],['Higgs TTS 3 (~4B)',1.11],['Audio8-Realistic (0.6B)',1.25,1],['VoxCPM2 (2B)',1.41],['CosyVoice3 (1.5B)',1.67]],n:'Среднее значение WER для английского и CER для китайского в Seed-TTS, без сложных китайских примеров. Чем меньше, тем лучше.'}},curB='cv3'; function bench(k){curB=k;$$('[data-b]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-b')===k)}); var d=B[k],h='';d.rows.forEach(function(r){h+='<div class="mrow"><span class="lab"'+(r[2]?' style="color:#fff!important;font-weight:700"':'')+'>'+r[0]+'</span><div class="trk"><div class="bar'+(r[2]?' me':'')+'" data-w="'+(r[1]/d.max*100)+'"'+(r[2]?'':' style="background:#55555b!important"')+'></div></div><span class="val">'+r[1].toFixed(2)+'%</span></div>'}); var el=R.querySelector('#a8-bench');el.innerHTML=h;R.querySelector('#a8-bnote').textContent=d.n;grow(el);setTimeout(rs,60);} $$('[data-b]').forEach(function(b){b.onclick=function(){bench(b.getAttribute('data-b'))}}); /* языки */ var L=[['Chinese',1.81],['English',2.91],['Japanese',7.51],['Korean',4.80],['German',3.20],['French',7.94],['Spanish',3.39],['Italian',4.93],['Russian',7.26],['Arabic',21.10],['Finnish',32.28],['Hindi',21.71],['Indonesian',13.74],['Malay',17.80],['Dutch',10.87],['Norwegian',17.96],['Polish',19.23],['Portuguese',6.87],['Swedish',19.25],['Thai',48.57],['Turkish',12.57],['Vietnamese',28.11]],curL='az'; function col(v){return v<8?'#f5f5f4':v<20?'#a1a1a6':'#5c5c62'} function lang(m){curL=m;$$('[data-l]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-l')===m)}); var a=L.slice();if(m==='az')a.sort(function(x,y){return x[0]<y[0]?-1:1});if(m==='best')a.sort(function(x,y){return x[1]-y[1]});if(m==='worst')a.sort(function(x,y){return y[1]-x[1]}); var h='';a.forEach(function(r){h+='<div class="lc"><div class="t"><span>'+r[0]+'</span><em>'+r[1].toFixed(2)+'%</em></div><div class="mini"><i data-w="'+(r[1]/50*100)+'" style="background:'+col(r[1])+'"></i></div></div>'}); var el=R.querySelector('#a8-lang');el.innerHTML=h;grow(el);setTimeout(rs,60);} $$('[data-l]').forEach(function(b){b.onclick=function(){lang(b.getAttribute('data-l'))}}); window.addEventListener('load',rs);window.addEventListener('resize',rs);setTimeout(rs,300);rs(); })(); </script> ">

Как модель показывает себя в тестах?

Все приведённые ниже цифры — это самостоятельно заявленные показатели ошибок, где меньшее значение лучше.

Seed-TTS (английский/китайский): средняя ошибка 1,25%, SIM — 0,704.
CV3 (9 языков): средняя ошибка 4,86%, SIM — 0,661.
MiniMax (24 языка): средняя ошибка 5,89%, SIM — 0,754.

В CV3 Audio8 превосходит VoxCPM2 (5,35%), CosyVoice3-1.5B (6,89%) и Qwen3-TTS-1.7B (7,73%). В MiniMax показатель Qwen3-TTS-1.7B составляет 27,41%, однако официально модель поддерживает только 10 из 24 тестовых языков.

В других тестах более крупные модели всё ещё лидируют. Higgs TTS 3 сообщает о 4,41% в CV3 и 2,74% в MiniMax. Средний показатель Qwen3-TTS-1.7B в Seed-TTS составляет 1,01%. Сама Edge0 называет свою таблицу сравнительной, поскольку конвейеры оценки и нормализация текста различаются.

Как она сравнивается с другими открытыми TTS-моделями?

Характеристика	Audio8-TTS-Realistic	Qwen3-TTS-12Hz-1.7B-Base	VoxCPM2	Higgs TTS 3
Размер	0,6B (без кодека)	1,7B	2B	~4B — базовая модель
Лицензия	Apache 2.0	Apache 2.0	Apache 2.0	Исследовательское и некоммерческое использование
Языки	23	10	30	100+
Частота дискретизации вывода	44,1 кГц	Не раскрыта	48 кГц	24 кГц
WER Seed-TTS EN	1,46%	1,24%	1,84%	Не раскрыт
CER Seed-TTS ZH	1,03%	0,77%	0,97%	Не раскрыт
Средняя ошибка CV3 (9 языков)	4,86%	7,73% (оценка Boson AI)	5,35%	4,41%
Средняя ошибка MiniMax (24 языка)	5,89%	27,41% (оценка Boson AI)	Не раскрыта	2,74%
Указанное оборудование	CUDA GPU; CPU M2 с INT4 в статье	GPU, FlashAttention 2	~8 ГБ VRAM	Тесты развёртывания на 1 H100

Среднее значение CV3 для VoxCPM2 рассчитано на основе таблицы показателей по отдельным языкам.

Как её развернуть?

Установите PyTorch 2.5+ и Transformers 4.57+, затем загрузите модель с параметром trust_remote_code=True. Для клонирования голоса нужны чистый эталонный аудиофрагмент и его точная расшифровка. Репозиторий на GitHub добавляет CLI, пакетную обработку и скрипты для обучения с учителем.

Для развёртывания на GPU адаптер SGLang Omni предоставляет постраничный механизм внимания, динамическую пакетную обработку и совместимый с OpenAI API /v1/audio/speech. Edge0 отмечает, что пропускная способность и потоковая генерация не тестировались. Бесплатный Playground работает на Hugging Face ZeroGPU.

Основные выводы

601 млн параметров, 23 языка, веса по лицензии Apache 2.0.
Обученный критик реалистичности управляет финальным этапом GRPO.
Ошибка CV3 4,86% — лучше, чем у Qwen3-TTS-1.7B и VoxCPM2.
Higgs TTS 3 класса 4B по-прежнему лидирует в CV3 и MiniMax.
Языки с меньшими объёмами ресурсов остаются слабым местом: WER для тайского близок к 49%.

Изучите статью, веса модели, репозиторий и примеры. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.

Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы Hugging Face, выпуска продукта, вебинара и т. д.? Свяжитесь с нами

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.