Edge0 пусна Audio8-TTS-Realistic, TTS модел за клониране на глас с 0,6 млрд. параметъра

Edge0 пусна Audio8-TTS-Realistic — модел за преобразуване на текст в реч с отворени тегла за клониране на глас в режим zero-shot. Audio8-TTS-Realistic е модел с 0,6 млрд. параметъра, който клонира глас от 1 референтен аудиоклип и транскрипция. Поддържа 23 езика — с 12 повече от предшественика си. Теглата и кодът се разпространяват под лиценза Apache 2.0. За разработчиците предимството е конкурентната многоезична точност при размер, който прави дообучаването и обслужването евтини.

Накратко

Размер: 601 млн. параметъра на основния модел (без кодека); контекст до 2 048 пакетирани текстови/аудио позиции.
Работи на: препоръчва се CUDA GPU; моделът е тестван базово на NVIDIA H20 в BF16. В статията се съобщава за пикова консумация на памет от 1,1 до 1,2 GiB на Apple M2 CPU (INT4 ONNX). Все още няма публичен ONNX експорт на Realistic.
Производителност: изпреварва по-големи модели с отворен код при CV3, но изостава от моделите от клас 4B при MiniMax.
Най-добър резултат: средна грешка от 4,86% при CV3 на 9 езика спрямо 7,73% за Qwen3-TTS-1.7B.
Най-слаб резултат: WER от 48,57% за тайландски език (CV3) и CER от 31,35% за кантонски (MiniMax).

Какво представлява Audio8-TTS-Realistic?

Това е второто издание с 0,6 млрд. параметъра от семейството Audio8 TTS на Edge0. То надгражда Audio8-TTS-Preview-0.6b и запазва същия интерфейс за инференция на Transformers. Хранилището включва контролна точка, невронен аудиокодек с честота 44,1 kHz, токенизатор, процесор и персонализиран код. Моделът може също да генерира реч без референтен глас.

Новите езици са арабски, фински, хинди, индонезийски, малайски, норвежки, португалски, руски, шведски, тайландски, турски и виетнамски.

Как работи архитектурата?

Моделът използва двуавторегресивен дизайн (DualAR), вдъхновен от Fish Audio S2 Pro. Според техническия изследователски доклад бавният клон е изграден върху Qwen2.5 0.5B. Той има 24 слоя с ширина 896 и работи с около 21,5 кадъра в секунда. На всяка стъпка се предвиждат текстови токени плюс първата аудиокодова книга.

След това плитък бърз клон с 4 слоя предвижда паралелно останалите 9 кодови книги. Следователно последователното изчисление се извършва единствено на ниво кадър.

Как Edge0 обучава модела за реалистичност?

Екипът твърди, че честотата на грешките на думите (WER) и сходството на говорещия (SIM) не отчитат ритъма, паузите и времето. Един модел може да постигне добри резултати и по двата показателя, но все пак да звучи синтетично.

Обучението протича на 3 етапа:

Многоезично контролирано дообучаване (SFT).
GRPO с комбинирана награда: тегло 0,7 за WER и 0,3 за SIM.
GRPO, насочвано от обучен критик на реалистичността.

Критикът оценява всеки резултат спрямо съответстващ човешки запис на същото изречение. Той е обучен върху скала за качество, изградена от 6 TTS системи с отворен код. Те са подредени в частно сляпо проучване за слушане, като човешките записи са поставени най-отгоре. Синтетичното компресиране на паузите добавя по-фини нива към скалата.

Функция за загуба при заличаване на идентичността не позволява на критика да възнаграждава характерните отпечатъци на генератора. Главата на критика има около 3 млн. параметъра върху замразен WavLM-large енкодер. При продължителност над 1,35 пъти дължината на референтния запис се активира и наказание за продължителност. Това не позволява на политиката да заобикаля критика чрез по-бавна реч.

Във финалния етап са използвани само подкани на китайски и английски. Въпреки това той подобрява и двата обобщени показателя при 13-те езика с по-малко ресурси. Грешката им намалява от 22,53% на 20,77%, а SIM се повишава от 0,637 на 0,679.

Step through</button> </div> <div id="a8-stage"></div> <p class="note">Етапът за реалистичност използва само подкани на китайски и английски, но подобрява и двата показателя при 13-те допълнителни езика. Източник: технически доклад, таблица 1.</p> </div> <div class="pn" data-p="bench"> <div class="ctrl"> <button class="btn on" data-b="cv3">CV3 (9 езика)</button> <button class="btn" data-b="mm">MiniMax (24 езика)</button> <button class="btn" data-b="seed">Seed-TTS EN/ZH</button> </div> <div id="a8-bench"></div> <p class="note" id="a8-bnote"></p> </div> <div class="pn" data-p="lang"> <div class="ctrl"> <button class="btn on" data-l="az">От А до Я</button> <button class="btn" data-l="best">Първо най-добрите</button> <button class="btn" data-l="worst">Първо най-слабите</button> </div> <div class="lg" id="a8-lang"></div> <p class="note">Процент на грешките при CV3 за всеки език (CER за китайски, японски и корейски; WER за останалите). По 500 елемента за всеки език. По-късата лента е по-добра.</p> </div> <div class="pn" data-p="run"> <p><b>Transformers</b> (PyTorch 2.5+, Transformers 4.57+, препоръчва се CUDA GPU):</p> <pre><code>model_id = "Edge0/Audio8-TTS-Realistic-0.6b" processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) model = AutoModel.from_pretrained(model_id, trust_remote_code=True)</code></pre> <p><b>Обслужване:</b> SGLang Omni адаптер със странично разпределено внимание, динамично пакетиране и OpenAI-съвместим API <code>/v1/audio/speech</code>. Edge0 не е измервал пропускателната способност и стрийминга.</p> <p><b>CPU:</b> в статията се съобщава за пикова консумация от 1,1 до 1,2 GiB на Apple M2 с INT4 ONNX. В хранилището се посочва, че все още няма наличен ONNX експорт на Realistic.</p> </div> <div class="ft"><span>Числата са предоставени от Edge0; данните за конкурентите са от собствените им източници или от оценката на Boson AI.</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div> </div> <script> (function(){ var R=document.getElementById('mtp-a8tts'); function rs(){try{parent.postMessage({mtpEmbedHeight:R.offsetHeight+40,id:'mtp-a8tts'},'*')}catch(e){}} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} $$('.tab').forEach(function(t){t.onclick=function(){ $$('.tab').forEach(function(x){x.setAttribute('aria-selected',x===t?'true':'false')}); $$('.pn').forEach(function(p){p.classList.toggle('on',p.getAttribute('data-p')===t.getAttribute('data-t'))}); if(t.getAttribute('data-t')==='bench')bench(curB); if(t.getAttribute('data-t')==='train')stage(curG); if(t.getAttribute('data-t')==='lang')lang(curL); setTimeout(rs,60);};}); /* архитектура */ var D=['Референтен аудиоклип и точната му транскрипция задават условията за модела. Моделът може също да генерира реч без референция.', 'Бавният клон е изграден върху Qwen2.5 0.5B. Веднъж на аудиокадър той предвижда текстови токени плюс първата от 10 кодови книги.', 'Бърз клон с 4 слоя прочита скритото състояние на бавния клон и предвижда паралелно останалите 9 кодови книги, без да добавя допълнителни последователни стъпки.', 'Вграденият кодек преобразува 10 кодови книги с по 4 096 записа на кадър обратно във вълнова форма с честота 44,1 kHz. Той не е включен в броя от 0,6 млрд. параметъра.']; var det=R.querySelector('#a8-detail');det.textContent=D[0]; $$('.blk').forEach(function(b){b.onclick=b.onmouseenter=function(){$$('.blk').forEach(function(x){x.classList.toggle('on',x===b)});det.textContent=D[+b.getAttribute('data-d')]};}); var F=R.querySelector('#a8-frames'),N=16,html=''; for(var i=0;i<N;i++){html+='<div class="fr">';for(var c=0;c<10;c++)html+='<div class="cb"></div>';html+='</div>'} F.innerHTML=html;var fr=$$('.fr'),k=0; setInterval(function(){var col=fr[k%N].children; if(k%N===0)fr.forEach(function(f){Array.prototype.forEach.call(f.children,function(x){x.className='cb'})}); col[0].className='cb s';setTimeout(function(){for(var c=1;c<10;c++)col[c].className='cb f'},180);k++;},420); /* обучение */ var G=[[5.41,0.639,22.36,0.638],[5.01,0.643,22.53,0.637],[4.86,0.661,20.77,0.679]],curG=0; var LB=['Процент грешка при CV3 (9 езика)','CV3 SIM','Грешка при допълнителните 13 езика (%)','SIM при допълнителните 13 езика'],MX=[25,1,25,1]; function stage(g){curG=g;$$('.stp').forEach(function(s){s.classList.toggle('on',+s.getAttribute('data-s')<=g)}); $$('[data-g]').forEach(function(b){b.classList.toggle('on',+b.getAttribute('data-g')===g)}); var h='';for(var i=0;i<4;i++){h+='<div class="mrow"><span class="lab">'+LB[i]+'</span><div class="trk"><div class="bar me" data-w="'+(G[g][i]/MX[i]*100)+'"></div></div><span class="val">'+(i%2?G[g][i].toFixed(3):G[g][i].toFixed(2)+'%')+(g?'<br><small style="color:#9a9a9f">'+((G[g][i]-G[0][i])>0?'+':'')+(G[g][i]-G[0][i]).toFixed(i%2?3:2)+' спрямо SFT</small>':'')+'</span></div>'} var el=R.querySelector('#a8-stage');el.innerHTML=h;grow(el);setTimeout(rs,60);} $$('[data-g]').forEach(function(b){b.onclick=function(){stopP();stage(+b.getAttribute('data-g'))}}); var P=null;function stopP(){if(P){clearInterval(P);P=null;R.querySelector('#a8-play').textContent=' Преминаване през стъпките'}} R.querySelector('#a8-play').onclick=function(){if(P){stopP();return}var g=0;stage(0);this.textContent='■ Спиране';P=setInterval(function(){g++;if(g>2){stopP();return}stage(g)},1500)}; function grow(el){requestAnimationFrame(function(){requestAnimationFrame(function(){Array.prototype.forEach.call(el.querySelectorAll('[data-w]'),function(b){b.style.width=b.getAttribute('data-w')+'%'})})})} /* сравнителни тестове */ var B={cv3:{max:9,rows:[['Higgs TTS 3 (~4B)',4.41],['Audio8-Realistic (0.6B)',4.86,1],['VoxCPM2 (2B)',5.35],['CosyVoice3 (1.5B)',6.89],['Qwen3-TTS (1.7B)',7.73]],n:'Средна макро-грешка при CV3, без трудните подмножества. Данните за Higgs и Qwen3-TTS са от оценката на Boson AI; данните за VoxCPM2 и CosyVoice3 са от хранилището на VoxCPM.'}, mm:{max:30,rows:[['Higgs TTS 3 (~4B)',2.74],['Audio8-Realistic (0.6B)',5.89,1],['Qwen3-TTS (1.7B)',27.41]],n:'Средна стойност за 24 езика при MiniMax, включително езици извън списъка с поддържани езици на всеки модел. Qwen3-TTS поддържа 10 от 24-те езика.'}, seed:{max:2,rows:[['Qwen3-TTS (1.7B)',1.01],['Higgs TTS 3 (~4B)',1.11],['Audio8-Realistic (0.6B)',1.25,1],['VoxCPM2 (2B)',1.41],['CosyVoice3 (1.5B)',1.67]],n:'Средна стойност на WER за английски и CER за китайски при Seed-TTS, без трудния китайски набор. По-ниската стойност е по-добра.'}},curB='cv3'; function bench(k){curB=k;$$('[data-b]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-b')===k)}); var d=B[k],h='';d.rows.forEach(function(r){h+='<div class="mrow"><span class="lab"'+(r[2]?' style="color:#fff!important;font-weight:700"':'')+'>'+r[0]+'</span><div class="trk"><div class="bar'+(r[2]?' me':'')+'" data-w="'+(r[1]/d.max*100)+'"'+(r[2]?'':' style="background:#55555b!important"')+'></div></div><span class="val">'+r[1].toFixed(2)+'%</span></div>'}); var el=R.querySelector('#a8-bench');el.innerHTML=h;R.querySelector('#a8-bnote').textContent=d.n;grow(el);setTimeout(rs,60);} $$('[data-b]').forEach(function(b){b.onclick=function(){bench(b.getAttribute('data-b'))}}); /* езици */ var L=[['Chinese',1.81],['English',2.91],['Japanese',7.51],['Korean',4.80],['German',3.20],['French',7.94],['Spanish',3.39],['Italian',4.93],['Russian',7.26],['Arabic',21.10],['Finnish',32.28],['Hindi',21.71],['Indonesian',13.74],['Malay',17.80],['Dutch',10.87],['Norwegian',17.96],['Polish',19.23],['Portuguese',6.87],['Swedish',19.25],['Thai',48.57],['Turkish',12.57],['Vietnamese',28.11]],curL='az'; function col(v){return v<8?'#f5f5f4':v<20?'#a1a1a6':'#5c5c62'} function lang(m){curL=m;$$('[data-l]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-l')===m)}); var a=L.slice();if(m==='az')a.sort(function(x,y){return x[0]<y[0]?-1:1});if(m==='best')a.sort(function(x,y){return x[1]-y[1]});if(m==='worst')a.sort(function(x,y){return y[1]-x[1]}); var h='';a.forEach(function(r){h+='<div class="lc"><div class="t"><span>'+r[0]+'</span><em>'+r[1].toFixed(2)+'%</em></div><div class="mini"><i data-w="'+(r[1]/50*100)+'" style="background:'+col(r[1])+'"></i></div></div>'}); var el=R.querySelector('#a8-lang');el.innerHTML=h;grow(el);setTimeout(rs,60);} $$('[data-l]').forEach(function(b){b.onclick=function(){lang(b.getAttribute('data-l'))}}); window.addEventListener('load',rs);window.addEventListener('resize',rs);setTimeout(rs,300);rs(); })(); </script> ">

Как се представя при сравнителните тестове?

Всички стойности по-долу са самостоятелно отчетени проценти на грешка, при които по-ниската стойност е по-добра.

Seed-TTS (английски/китайски): средна грешка от 1,25%, SIM 0,704.
CV3 (9 езика): средна грешка от 4,86%, SIM 0,661.
MiniMax (24 езика): средна грешка от 5,89%, SIM 0,754.

При CV3 Audio8 изпреварва VoxCPM2 (5,35%), CosyVoice3-1.5B (6,89%) и Qwen3-TTS-1.7B (7,73%). При MiniMax Qwen3-TTS-1.7B постига 27,41%, но официално поддържа само 10 от 24-те тестови езика.

По-големите модели все още водят в други показатели. Higgs TTS 3 отчита 4,41% при CV3 и 2,74% при MiniMax. Qwen3-TTS-1.7B постига средно 1,01% при Seed-TTS. Самата Edge0 определя таблицата си като референтно сравнение, тъй като процесите на оценяване и нормализиране на текста се различават.

Как се сравнява с други TTS модели с отворен код?

Характеристика	Audio8-TTS-Realistic	Qwen3-TTS-12Hz-1.7B-Base	VoxCPM2	Higgs TTS 3
Размер	0,6B (без кодека)	1,7B	2B	~4B бекбоун
Лиценз	Apache 2.0	Apache 2.0	Apache 2.0	За изследователски и некомерсиални цели
Езици	23	10	30	100+
Честота на извадките на изхода	44,1 kHz	Не е оповестена	48 kHz	24 kHz
Seed-TTS EN WER	1,46%	1,24%	1,84%	Не е оповестен
Seed-TTS ZH CER	1,03%	0,77%	0,97%	Не е оповестен
Средна грешка при CV3 (9 езика)	4,86%	7,73% (оценка на Boson AI)	5,35%	4,41%
Средна грешка при MiniMax (24 езика)	5,89%	27,41% (оценка на Boson AI)	Не е оповестена	2,74%
Посочен хардуер	CUDA GPU; INT4 M2 CPU в статията	GPU, FlashAttention 2	~8 GB VRAM	Тестове за обслужване с 1x H100

Средната стойност на VoxCPM2 при CV3 е изчислена от таблицата му по езици.

Как се внедрява?

Инсталирайте PyTorch 2.5+ и Transformers 4.57+, след което заредете модела с trust_remote_code=True. За клониране на глас е необходим чист референтен аудиоклип и точната му транскрипция. Хранилището в GitHub добавя CLI, пакетиране и скриптове за контролирано дообучаване.

За GPU обслужване SGLang Omni адаптер предоставя странично разпределено внимание, динамично пакетиране и OpenAI-съвместим API /v1/audio/speech. Edge0 отбелязва, че пропускателната способност и стриймингът не са били измервани. Безплатен плейграунд работи в Hugging Face ZeroGPU.

Основни изводи

601 млн. параметъра, 23 езика, тегла под Apache 2.0.
Обучен критик на реалистичността задвижва финалния етап на GRPO.
Грешката от 4,86% при CV3 изпреварва Qwen3-TTS-1.7B и VoxCPM2.
Higgs TTS 3 от клас 4B все още води при CV3 и MiniMax.
Езиците с по-малко ресурси остават слаби, като WER за тайландски е близо до 49%.

Разгледайте статията, теглата на модела, хранилището и примерите. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово издание, уебинар и др.? Свържете се с нас

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.