Edge0 випустила Audio8-TTS-Realistic — TTS-модель клонування голосу на 0,6 млрд параметрів

Edge0 випустила Audio8-TTS-Realistic — модель синтезу мовлення з відкритими вагами для клонування голосу в режимі zero-shot. Audio8-TTS-Realistic — це модель із 0,6 млрд параметрів, яка клонує голос за одним еталонним аудіофрагментом і його транскрипцією. Вона підтримує 23 мови — на 12 більше, ніж її попередниця. Ваги та код поширюються за ліцензією Apache 2.0. Для розробників перевага полягає в конкурентній багатомовній точності за розміру, який робить донавчання та розгортання недорогими.

Коротко

Розмір: 601 млн параметрів основної моделі (кодек не враховано); до 2 048 упакованих текстових/аудіопозицій контексту.
Запуск: рекомендовано CUDA-GPU; модель перевіряли на NVIDIA H20 у BF16. У статті повідомляється про пікове використання пам’яті від 1,1 до 1,2 ГіБ на CPU Apple M2 (INT4 ONNX). Публічного експорту Realistic в ONNX поки немає.
Продуктивність: випереджає більші відкриті моделі на CV3, але поступається моделям класу 4B на MiniMax.
Найкращий результат: середня помилка CV3 4,86% для 9 мов проти 7,73% у Qwen3-TTS-1.7B.
Найгірший результат: WER 48,57% для тайської (CV3) і CER 31,35% для кантонської (MiniMax).

Що таке Audio8-TTS-Realistic?

Це другий реліз на 0,6 млрд параметрів у сімействі Audio8 TTS від Edge0. Він розвиває Audio8-TTS-Preview-0.6b і зберігає той самий інтерфейс інференсу Transformers. Репозиторій містить чекпойнт, нейронний аудіокодек із частотою дискретизації 44,1 кГц, токенізатор, процесор і власний код. Модель також може генерувати мовлення без еталонного голосу.

Нові мови: арабська, фінська, гінді, індонезійська, малайська, норвезька, португальська, російська, шведська, тайська, турецька та в’єтнамська.

Як працює архітектура?

Модель використовує двоавторегресійну (DualAR) архітектуру, натхненну Fish Audio S2 Pro. Згідно з технічним дослідницьким звітом, повільна гілка побудована на Qwen2.5 0.5B. Вона має 24 шари з шириною 896 і працює зі швидкістю близько 21,5 кадру на секунду. На кожному кроці вона прогнозує текстові токени та першу аудіокодову книгу.

Потім неглибока швидка гілка з 4 шарів паралельно прогнозує решту 9 кодових книг. Отже, послідовні обчислення виконуються лише на рівні кадрів.

Як Edge0 навчає модель реалістичності?

Команда стверджує, що частота помилок слів (WER) і схожість мовця (SIM) не враховують ритм, паузи та часові характеристики. Модель може добре оцінюватися за обома показниками й водночас звучати синтетично.

Навчання відбувається у 3 етапи:

Багатомовне кероване донавчання (SFT).
GRPO з комбінованою винагородою: вага 0,7 для WER і 0,3 для SIM.
GRPO під керуванням навченого критика реалістичності.

Критик оцінює кожен результат порівняно з відповідним людським записом того самого речення. Його навчали на шкалі якості, створеній із 6 систем TTS із відкритим кодом. Їх ранжували в приватному сліпому дослідженні прослуховування, де людські записи були на найвищій позиції. Синтетичне стискання пауз додає до шкали точніші проміжні рівні.

Функція втрат для стирання ідентичності не дає критику винагороджувати характерні ознаки генератора. Голова критика має близько 3 млн параметрів поверх замороженого кодера WavLM-large. Штраф за тривалість також застосовується, коли тривалість перевищує 1,35 від довжини еталона. Це не дає політиці обходити критика за допомогою повільнішого мовлення.

На фінальному етапі використовувалися лише китайські та англійські запити. Попри це, обидва сукупні показники для 13 мов із меншими ресурсами покращилися. Їхня помилка знизилася з 22,53% до 20,77%, а SIM зріс із 0,637 до 0,679.

Step through</button> </div> <div id="a8-stage"></div> <p class="note">На етапі підвищення реалістичності використовувалися лише китайські та англійські запити, проте обидва показники для 13 додаткових мов покращилися. Джерело: технічний звіт, таблиця 1.</p> </div> <div class="pn" data-p="bench"> <div class="ctrl"> <button class="btn on" data-b="cv3">CV3 (9 мов)</button> <button class="btn" data-b="mm">MiniMax (24 мови)</button> <button class="btn" data-b="seed">Seed-TTS EN/ZH</button> </div> <div id="a8-bench"></div> <p class="note" id="a8-bnote"></p> </div> <div class="pn" data-p="lang"> <div class="ctrl"> <button class="btn on" data-l="az">Від А до Я</button> <button class="btn" data-l="best">Спочатку найкращі</button> <button class="btn" data-l="worst">Спочатку найгірші</button> </div> <div class="lg" id="a8-lang"></div> <p class="note">Рівень помилок CV3 для кожної мови (CER для китайської, японської та корейської; WER для решти). По 500 прикладів кожна. Коротша смуга означає кращий результат.</p> </div> <div class="pn" data-p="run"> <p><b>Transformers</b> (PyTorch 2.5+, Transformers 4.57+, рекомендовано CUDA-GPU):</p> <pre><code>model_id = "Edge0/Audio8-TTS-Realistic-0.6b" processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) model = AutoModel.from_pretrained(model_id, trust_remote_code=True)</code></pre> <p><b>Розгортання:</b> адаптер SGLang Omni з paged attention, динамічним пакетуванням і сумісним з OpenAI API <code>/v1/audio/speech</code>. Edge0 не проводила бенчмарків пропускної здатності та потокової передачі.</p> <p><b>CPU:</b> у статті повідомляється про пікове використання 1,1–1,2 ГіБ на Apple M2 з INT4 ONNX. У репозиторії зазначено, що експорту Realistic в ONNX поки немає.</p> </div> <div class="ft"><span>Числа самостійно надані Edge0; показники конкурентів взято з їхніх власних джерел або оцінювання Boson AI.</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div> </div> <script> (function(){ var R=document.getElementById('mtp-a8tts'); function rs(){try{parent.postMessage({mtpEmbedHeight:R.offsetHeight+40,id:'mtp-a8tts'},'*')}catch(e){}} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} $$('.tab').forEach(function(t){t.onclick=function(){ $$('.tab').forEach(function(x){x.setAttribute('aria-selected',x===t?'true':'false')}); $$('.pn').forEach(function(p){p.classList.toggle('on',p.getAttribute('data-p')===t.getAttribute('data-t'))}); if(t.getAttribute('data-t')==='bench')bench(curB); if(t.getAttribute('data-t')==='train')stage(curG); if(t.getAttribute('data-t')==='lang')lang(curL); setTimeout(rs,60);};}); /* архітектура */ var D=['Еталонний аудіофрагмент і його точна транскрипція задають умови для моделі. Модель також може генерувати мовлення без еталона.', 'Повільна гілка побудована на Qwen2.5 0.5B. Один раз на аудіокадр вона прогнозує текстові токени та першу з 10 кодових книг.', 'Швидка гілка з 4 шарів отримує прихований стан повільної гілки й паралельно прогнозує решту 9 кодових книг, не додаючи послідовних кроків.', 'Вбудований кодек перетворює 10 кодових книг по 4 096 елементів на кадр назад у хвильову форму з частотою 44,1 кГц. Його не враховано в кількості 0,6 млрд параметрів.']; var det=R.querySelector('#a8-detail');det.textContent=D[0]; $$('.blk').forEach(function(b){b.onclick=b.onmouseenter=function(){$$('.blk').forEach(function(x){x.classList.toggle('on',x===b)});det.textContent=D[+b.getAttribute('data-d')]};}); var F=R.querySelector('#a8-frames'),N=16,html=''; for(var i=0;i<N;i++){html+='<div class="fr">';for(var c=0;c<10;c++)html+='<div class="cb"></div>';html+='</div>'} F.innerHTML=html;var fr=$$('.fr'),k=0; setInterval(function(){var col=fr[k%N].children; if(k%N===0)fr.forEach(function(f){Array.prototype.forEach.call(f.children,function(x){x.className='cb'})}); col[0].className='cb s';setTimeout(function(){for(var c=1;c<10;c++)col[c].className='cb f'},180);k++;},420); /* навчання */ var G=[[5.41,0.639,22.36,0.638],[5.01,0.643,22.53,0.637],[4.86,0.661,20.77,0.679]],curG=0; var LB=['Помилка CV3, % (9 мов)','SIM CV3','Помилка для додаткових 13 мов, %','SIM для додаткових 13 мов'],MX=[25,1,25,1]; function stage(g){curG=g;$$('.stp').forEach(function(s){s.classList.toggle('on',+s.getAttribute('data-s')<=g)}); $$('[data-g]').forEach(function(b){b.classList.toggle('on',+b.getAttribute('data-g')===g)}); var h='';for(var i=0;i<4;i++){h+='<div class="mrow"><span class="lab">'+LB[i]+'</span><div class="trk"><div class="bar me" data-w="'+(G[g][i]/MX[i]*100)+'"></div></div><span class="val">'+(i%2?G[g][i].toFixed(3):G[g][i].toFixed(2)+'%')+(g?'<br><small style="color:#9a9a9f">'+((G[g][i]-G[0][i])>0?'+':'')+(G[g][i]-G[0][i]).toFixed(i%2?3:2)+' порівняно з SFT</small>':'')+'</span></div>'} var el=R.querySelector('#a8-stage');el.innerHTML=h;grow(el);setTimeout(rs,60);} $$('[data-g]').forEach(function(b){b.onclick=function(){stopP();stage(+b.getAttribute('data-g'))}}); var P=null;function stopP(){if(P){clearInterval(P);P=null;R.querySelector('#a8-play').textContent=' Перейти по кроках'}} R.querySelector('#a8-play').onclick=function(){if(P){stopP();return}var g=0;stage(0);this.textContent='■ Зупинити';P=setInterval(function(){g++;if(g>2){stopP();return}stage(g)},1500)}; function grow(el){requestAnimationFrame(function(){requestAnimationFrame(function(){Array.prototype.forEach.call(el.querySelectorAll('[data-w]'),function(b){b.style.width=b.getAttribute('data-w')+'%'})})})} /* бенчмарки */ var B={cv3:{max:9,rows:[['Higgs TTS 3 (~4B)',4.41],['Audio8-Realistic (0.6B)',4.86,1],['VoxCPM2 (2B)',5.35],['CosyVoice3 (1.5B)',6.89],['Qwen3-TTS (1.7B)',7.73]],n:'Середня макропомилка CV3, без складних піднаборів. Показники Higgs і Qwen3-TTS взято з оцінювання Boson AI; VoxCPM2 і CosyVoice3 — з репозиторію VoxCPM.'}, mm:{max:30,rows:[['Higgs TTS 3 (~4B)',2.74],['Audio8-Realistic (0.6B)',5.89,1],['Qwen3-TTS (1.7B)',27.41]],n:'Середній показник для 24 мов MiniMax, включно з мовами, які не входять до списку підтримуваних кожною моделлю. Qwen3-TTS підтримує 10 із 24.'}, seed:{max:2,rows:[['Qwen3-TTS (1.7B)',1.01],['Higgs TTS 3 (~4B)',1.11],['Audio8-Realistic (0.6B)',1.25,1],['VoxCPM2 (2B)',1.41],['CosyVoice3 (1.5B)',1.67]],n:'Середнє значення WER для англійської та CER для китайської в Seed-TTS, без складних китайських прикладів. Менше — краще.'}},curB='cv3'; function bench(k){curB=k;$$('[data-b]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-b')===k)}); var d=B[k],h='';d.rows.forEach(function(r){h+='<div class="mrow"><span class="lab"'+(r[2]?' style="color:#fff!important;font-weight:700"':'')+'>'+r[0]+'</span><div class="trk"><div class="bar'+(r[2]?' me':'')+'" data-w="'+(r[1]/d.max*100)+'"'+(r[2]?'':' style="background:#55555b!important"')+'></div></div><span class="val">'+r[1].toFixed(2)+'%</span></div>'}); var el=R.querySelector('#a8-bench');el.innerHTML=h;R.querySelector('#a8-bnote').textContent=d.n;grow(el);setTimeout(rs,60);} $$('[data-b]').forEach(function(b){b.onclick=function(){bench(b.getAttribute('data-b'))}}); /* мови */ var L=[['Китайська',1.81],['Англійська',2.91],['Японська',7.51],['Корейська',4.80],['Німецька',3.20],['Французька',7.94],['Іспанська',3.39],['Італійська',4.93],['Російська',7.26],['Арабська',21.10],['Фінська',32.28],['Гінді',21.71],['Індонезійська',13.74],['Малайська',17.80],['Нідерландська',10.87],['Норвезька',17.96],['Польська',19.23],['Португальська',6.87],['Шведська',19.25],['Тайська',48.57],['Турецька',12.57],['В’єтнамська',28.11]],curL='az'; function col(v){return v<8?'#f5f5f4':v<20?'#a1a1a6':'#5c5c62'} function lang(m){curL=m;$$('[data-l]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-l')===m)}); var a=L.slice();if(m==='az')a.sort(function(x,y){return x[0]<y[0]?-1:1});if(m==='best')a.sort(function(x,y){return x[1]-y[1]});if(m==='worst')a.sort(function(x,y){return y[1]-x[1]}); var h='';a.forEach(function(r){h+='<div class="lc"><div class="t"><span>'+r[0]+'</span><em>'+r[1].toFixed(2)+'%</em></div><div class="mini"><i data-w="'+(r[1]/50*100)+'" style="background:'+col(r[1])+'"></i></div></div>'}); var el=R.querySelector('#a8-lang');el.innerHTML=h;grow(el);setTimeout(rs,60);} $$('[data-l]').forEach(function(b){b.onclick=function(){lang(b.getAttribute('data-l'))}}); window.addEventListener('load',rs);window.addEventListener('resize',rs);setTimeout(rs,300);rs(); })(); </script> ">

Як модель показує себе на бенчмарках?

Усі наведені нижче числа — самостійно надані показники помилок, де менше означає краще.

Seed-TTS (англійська/китайська): середня помилка 1,25%, SIM 0,704.
CV3 (9 мов): середня помилка 4,86%, SIM 0,661.
MiniMax (24 мови): середня помилка 5,89%, SIM 0,754.

На CV3 Audio8 випереджає VoxCPM2 (5,35%), CosyVoice3-1.5B (6,89%) і Qwen3-TTS-1.7B (7,73%). На MiniMax результат Qwen3-TTS-1.7B становить 27,41%, але офіційно модель підтримує лише 10 із 24 тестових мов.

В інших тестах більші моделі все ще лідирують. Higgs TTS 3 показує 4,41% на CV3 і 2,74% на MiniMax. Середній результат Qwen3-TTS-1.7B на Seed-TTS становить 1,01%. Сама Edge0 називає свою таблицю довідковим порівнянням, оскільки конвеєри оцінювання та нормалізація тексту відрізняються.

Як модель порівнюється з іншими відкритими TTS-моделями?

Характеристика	Audio8-TTS-Realistic	Qwen3-TTS-12Hz-1.7B-Base	VoxCPM2	Higgs TTS 3
Розмір	0,6B (без кодека)	1,7B	2B	~4B базової моделі
Ліцензія	Apache 2.0	Apache 2.0	Apache 2.0	Дослідницька та некомерційна
Мови	23	10	30	100+
Частота дискретизації виходу	44,1 кГц	Не розголошується	48 кГц	24 кГц
WER Seed-TTS EN	1,46%	1,24%	1,84%	Не розголошується
CER Seed-TTS ZH	1,03%	0,77%	0,97%	Не розголошується
Середня помилка CV3 (9 мов)	4,86%	7,73% (оцінювання Boson AI)	5,35%	4,41%
Середня помилка MiniMax (24 мови)	5,89%	27,41% (оцінювання Boson AI)	Не розголошується	2,74%
Зазначене обладнання	CUDA-GPU; CPU M2 з INT4 у статті	GPU, FlashAttention 2	~8 ГБ VRAM	Тести розгортання на 1x H100

Середнє значення CV3 для VoxCPM2 обчислено з його таблиці для окремих мов.

Як її розгорнути?

Встановіть PyTorch 2.5+ і Transformers 4.57+, а потім завантажте модель із параметром trust_remote_code=True. Для клонування голосу потрібні чистий еталонний аудіофрагмент і його точна транскрипція. Репозиторій GitHub додає CLI, пакетування та скрипти керованого донавчання.

Для розгортання на GPU адаптер SGLang Omni забезпечує paged attention, динамічне пакетування та сумісний з OpenAI API /v1/audio/speech. Edge0 зазначає, що пропускну здатність і потокову передачу не тестували. Безкоштовний майданчик для тестування працює на Hugging Face ZeroGPU.

Основні висновки

601 млн параметрів, 23 мови, ваги за ліцензією Apache 2.0.
Навчений критик реалістичності керує фінальним етапом GRPO.
Помилка CV3 4,86% — краща, ніж у Qwen3-TTS-1.7B і VoxCPM2.
Higgs TTS 3 класу 4B усе ще випереджає модель на CV3 і MiniMax.
Мови з меншими ресурсами залишаються слабким місцем: WER для тайської наближається до 49%.

Ознайомтеся зі статтею, вагами моделі, репозиторієм і прикладами. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання з понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви користуєтеся Telegram? тепер ви також можете приєднатися до нас у Telegram.

Потрібно налагодити партнерство з нами для просування вашого репозиторію GitHub, сторінки на Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.