Sakhanda Wire
NVDA $215.38 -1.17% MSFT $531.01 -0.06% GOOGL $324.89 +1.34% META $612.49 -1.24% AMZN $254.60 +0.59%
← До новин

AssemblyAI випустила AssemblyAI-TTS-1: API перетворення тексту на мовлення для голосових агентів за $15 за 1 млн символів

AssemblyAI випустила AssemblyAI-TTS-1, свою першу модель перетворення тексту на мовлення, яка тепер доступна для загального використання. API перетворення тексту на мовлення AssemblyAI-TTS-1 призначений для голосових агентів, що працюють під час телефонних дзвінків у реальному часі. У таких умовах затримка та вимова визначають, чи залишиться абонент на лінії. Вартість становить $15 за 1 млн символів, без річного контракту та без необхідності купувати тарифний рівень паралельності. Для розробників, які вже використовують перетворення мовлення на текст від AssemblyAI, це замикає голосовий цикл в одного постачальника.

Коротко

  • Розмір: Це модель API, що працює на хостингу.
  • Працює на: Лише в хмарі AssemblyAI, у США (us-east-1) або ЄС (eu-north-1). Відкритих вагових коефіцієнтів або локального варіанта немає. Підійде будь-який клієнт із підтримкою HTTP або WebSocket.
  • Продуктивність: У тестах AssemblyAI зрівнялася з ElevenLabs v4 за точністю розпізнавання сутностей, коштуючи менш ніж п’яту частину його ціни.
  • Найкраще: Медіанний час до першого байта — 47 мс у тесті API AssemblyAI серед 6 моделей (за власними даними).
  • Найгірше: Медіанна затримка потокової передачі — 159 мс у незалежному тестуванні Cekura, 8-ме місце серед 19 моделей із вимірюванням часу.
  • Підсумок:
    • Найкраще: $15 за 1 млн символів із необмеженою паралельністю.
    • Найгірше: поки що немає SSML, керування швидкістю, словників вимови або тегів емоцій.

Що таке AssemblyAI-TTS-1?

AssemblyAI-TTS-1 — це потокова модель перетворення тексту на мовлення від AssemblyAI, яка перетворює відповіді агентів на мовлення під час дзвінків у реальному часі. Вона була навчена на мільйонах годин аудіо, зокрема на реальних розмовних даних. Більшість моделей TTS представляють аудіо у вигляді дискретних токенів. За словами AssemblyAI, TTS-1 натомість працює з безперервними представленнями аудіо. AssemblyAI стверджує, що це підвищує реалістичність і скорочує час до першого відтвореного фрагмента мовлення.

Запуск включає бібліотеку з понад 4000 голосів і миттєве клонування голосу. Для клонування потрібен короткий запис і підтвердження дозволу мовця. У прикладі з публікації про запуск використано 24 секунди аудіо. На момент запуску підтримуються шість мов: англійська, іспанська, французька, німецька, італійська та португальська.

Як розробники інтегрують AssemblyAI-TTS-1?

Є 3 інтерфейси: HTTP API, WebSocket API і маршрут, сумісний з OpenAI. Сеанс WebSocket підтримує одне з’єднання для кожної розмови та приймає повідомлення скасування для переривання мовлення. Вихідні дані — моно PCM, mu-law або A-law із частотою від 8 кГц до 48 кГц. Нативний формат — PCM 24 кГц; телефонні стеки можуть безпосередньо запитувати mu-law 8 кГц. Додаються часові мітки слів. AssemblyAI також опублікувала еталонних агентів для LiveKit і Pipecat.

Як AssemblyAI-TTS-1 показує себе в бенчмарках?

AssemblyAI протестувала TTS-1 проти 5 моделей на 4 англомовних наборах, використавши 50 однакових клонованих голосів. Усі наведені нижче показники є даними самої компанії, отриманими під час оцінювання від 28 жовтня 2026 року.

  • Точність сутностей (580 складних цілей, як-от номери телефонів і коди): 93,7% проти 93,6% у ElevenLabs v4, 82,5% у Cartesia Sonic 3.6 і 68,0% у ElevenLabs Flash v2.5.
  • Точність слів: 99,0% на реченнях Seed-TTS і LibriSpeech.
  • Прогнозований MOS: 3,85 — нижче, ніж 3,88 у Inworld TTS-2 Flash, і вище, ніж 3,82 у Sonic 3.6.
  • Медіанний час до першого байта: 47 мс. Flash v2.5 потребувала 119 мс, Sonic 3.6 — 143 мс, Inworld TTS-2 Flash — 244 мс.
  • Інше: показник просодії TTSDS — 85,5, а подібність мовця для клонованого аудіо — 0,64.

Незалежні результати більш неоднозначні. У бенчмарку Cekura для 27 моделей TTS-1 отримала 81,5% точності читання та 4,50 за природністю. Її медіанна затримка потокової передачі, виміряна від моменту надсилання останнього слова, становила 159 мс. Inworld TTS-2 Flash показала там 45 мс і точність 93,2% за тією самою ціною в $15. AssemblyAI також посилається на показник помилок у словах 1,7% у рейтингу Coval. Компанія повідомляє про дебют у топ-10 на контрольованій арені голосів Artificial Analysis.

Відтворити</button> <button class="btn ghost" id="aai-prev">‹ Назад</button> <button class="btn ghost" id="aai-next">Далі ›</button> </div> </div> <div class="pane" data-p="bench"> <div class="pills" id="aai-pills"> <button class="pill on" data-m="ent">Точність сутностей</button> <button class="pill" data-m="ttfb">Медіанний TTFB (тест AssemblyAI)</button> <button class="pill" data-m="cstream">Затримка потокової передачі (Cekura)</button> <button class="pill" data-m="cacc">Точність читання (Cekura)</button> </div> <div class="bars" id="aai-bars"></div> <p class="note" id="aai-bnote"></p> </div> <div class="pane" data-p="cost"> <div class="calc"> <label for="aai-min">Хвилини мовлення на місяць: <b id="aai-minv" style="color:#fdfcf8">10,000</b></label> <input type="range" id="aai-min" min="1000" max="200000" step="1000" value="10000"> <div class="cost" id="aai-cost"></div> <p class="note">Передбачається 600 символів на хвилину телефонного мовлення — показник, який AssemblyAI називає типовим. Ціни за 1 млн символів: AssemblyAI-TTS-1 — $15, Inworld TTS-2 Flash — $15 за запитом, ElevenLabs Flash v2.5 — $40, ElevenLabs v4 — $80. Обмеження паралельності не враховані у вартості.</p> </div> </div> <div class="pane" data-p="limits"> <div class="grid" id="aai-cards"> <div class="card"><h4>Немає SSML або керування швидкістю <span class="tag">ПРОБІЛ ПІСЛЯ ЗАПУСКУ</span></h4><p>WebSocket API не має параметрів швидкості, висоти тону, емоцій або стилю, і жоден API не приймає SSML. Пунктуація та написані заповнювачі на кшталт "гм" усе ще впливають на подачу.</p></div> <div class="card"><h4>Немає словників вимови <span class="tag">НЕЗАБАРОМ</span></h4><p>Власні словники вимови та теги емоцій анонсовані, але ще не доступні. Cartesia Sonic 3.6 уже пропонує власні варіанти вимови.</p></div> <div class="card"><h4>6 мов <span class="tag">ОХОПЛЕННЯ</span></h4><p>Англійська, іспанська, французька, німецька, італійська та португальська. ElevenLabs Flash v2.5 заявляє 32 мови, а Cartesia Sonic 3.6 — 44.</p></div> <div class="card"><h4>Затримка залежить від методу <span class="tag">ПЕРЕВІРТЕ</span></h4><p>Близько 90 мс заявлено, 47 мс медіанно у власному тесті AssemblyAI, 159 мс медіанної потокової затримки на Cekura (виміряно від моменту надсилання останнього слова).</p></div> <div class="card"><h4>Лише миттєве клонування <span class="tag">ПРОБІЛ ПІСЛЯ ЗАПУСКУ</span></h4><p>Професійне (точно налаштоване) клонування голосу поки що недоступне. Для миттєвих клонів потрібен короткий запис і дозвіл мовця.</p></div> <div class="card"><h4>Лише хмара <span class="tag">РОЗГОРТАННЯ</span></h4><p>Хости у США (us-east-1) та ЄС (eu-north-1) за однаковою ціною. Локальний варіант не анонсовано.</p></div> </div> <p class="note">Торкніться картки, щоб розгорнути її.</p> </div> <div class="ft"><span>Джерела: публікація AssemblyAI про запуск, документація та ціни; бенчмарк Cekura TTS; сторінки цін постачальників. Перевірено 29 жовтня 2026 року.</span><span class="mtp">Створено Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-aai-tts1');if(!R)return; function resize(){try{parent.postMessage({mtpEmbed:'aai-tts1',h:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.addEventListener('click',function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); R.querySelectorAll('.pane').forEach(function(p){p.classList.toggle('on',p.getAttribute('data-p')===t.getAttribute('data-t'))}); if(t.getAttribute('data-t')==='bench')draw(cur);setTimeout(resize,60);});}); var steps=['Ваша LLM агента пише відповідь. Текст можна надсилати слово за словом у міру його генерування.', 'Одне з’єднання WebSocket для кожної розмови. Голос, мова, частота дискретизації та кодування фіксуються під час підключення.', 'TTS-1 моделює мовлення на основі безперервних представлень аудіо, а не дискретних токенів. AssemblyAI стверджує, що це підвищує реалістичність і швидкість.', 'Аудіо повертається потоком у форматі необробленого моно PCM, mu-law або A-law. Нативним є PCM 24 кГц; mu-law 8 кГц підходить для телефонних ліній.', 'Якщо абонент перебиває, повідомлення скасування зупиняє мовлення. Часові мітки слів показують, що саме було сказано.']; var nodes=R.querySelectorAll('#aai-flow .node'),det=R.querySelector('#aai-detail'),si=-1,timer=null; function show(i){si=(i+nodes.length)%nodes.length;nodes.forEach(function(n,k){n.classList.toggle('act',k===si);n.classList.toggle('playing',k===3&&si>=3)});det.textContent=(si+1)+'/5 · '+steps[si];resize();} R.querySelector('#aai-next').onclick=function(){stop();show(si+1)}; R.querySelector('#aai-prev').onclick=function(){stop();show(si<=0?4:si-1)}; var pb=R.querySelector('#aai-play'); function stop(){if(timer){clearInterval(timer);timer=null;pb.textContent='<img src="https://s.w.org/images/core/emoji/17.0.2/72x72/25b6.png" alt="▶"> Відтворити'}} pb.onclick=function(){if(timer){stop();return}pb.textContent='❚❚ Пауза';show(si+1);timer=setInterval(function(){show(si+1)},2200)}; var D={ ent:{u:'%',max:100,hi:true,note:'Набір вимови AssemblyAI: 580 складних цілей (номери телефонів, дати, URL-адреси, коди). Дані самої компанії, оцінювання від 28 жовтня 2026 року.', r:[['AssemblyAI-TTS-1',93.7,1],['ElevenLabs v4',93.6],['Cartesia Sonic 3.6',82.5],['ElevenLabs Flash v2.5',68.0]]}, ttfb:{u:' мс',max:650,hi:false,note:'Медіанний час до першого байта через кожен API від одного клієнта, по одному запиту за раз. Дані самої AssemblyAI. Менше — краще.', r:[['AssemblyAI-TTS-1',47,1],['ElevenLabs Flash v2.5',119],['Cartesia Sonic 3.6',143],['Inworld TTS-2 Flash',244],['Inworld TTS-2',280],['ElevenLabs v4',612]]}, cstream:{u:' мс',max:600,hi:false,note:'Cekura: медіана від надсилання останнього слова до першого чутного звуку, схід США, 104 речення × 3 прочитування. Незалежне вимірювання. Менше — краще.', r:[['Inworld TTS-2 Flash',45],['AssemblyAI-TTS-1',159,1],['ElevenLabs Flash v2.5',177],['Cartesia Sonic 3.6',270],['ElevenLabs v4',561]]}, cacc:{u:'%',max:100,hi:true,note:'Cekura: складні фрагменти, прочитані правильно, оцінені транскрибаторами мовлення в текст (це оцінка, а не оцінювання людьми). Незалежне вимірювання.', r:[['Inworld TTS-2 Flash',93.2],['AssemblyAI-TTS-1',81.5,1],['ElevenLabs v4',80.4],['Cartesia Sonic 3.6',74.9],['ElevenLabs Flash v2.5',64.4]]}}; var cur='ent',bars=R.querySelector('#aai-bars'),bn=R.querySelector('#aai-bnote'); function draw(m){cur=m;var d=D[m];bars.innerHTML='';d.r.forEach(function(x){ var row=document.createElement('div');row.className='row'+(x[2]?' me':''); row.innerHTML='<span class="nm">'+x[0]+'</span><span class="track"><span class="fill"></span></span><span class="val">'+(d.u==='%'?x[1].toFixed(1):x[1])+d.u+'</span>'; bars.appendChild(row);var f=row.querySelector('.fill');setTimeout(function(){f.style.width=Math.max(2,x[1]/d.max*100)+'%'},40);}); bn.textContent=d.note;setTimeout(resize,60);} R.querySelectorAll('#aai-pills .pill').forEach(function(p){p.addEventListener('click',function(){ R.querySelectorAll('#aai-pills .pill').forEach(function(x){x.classList.remove('on')});p.classList.add('on');draw(p.getAttribute('data-m'))})}); var rng=R.querySelector('#aai-min'),mv=R.querySelector('#aai-minv'),co=R.querySelector('#aai-cost'); var P=[['AssemblyAI-TTS-1',15,1],['Inworld TTS-2 Flash (за запитом)',15],['ElevenLabs Flash v2.5',40],['ElevenLabs v4',80]]; function calc(){var m=+rng.value,ch=m*600;mv.textContent=m.toLocaleString('en-US');var h=''; P.forEach(function(p){var c=ch/1e6*p[1];h+='<span class="'+(p[2]?'me':'')+'">'+p[0]+'</span><span class="'+(p[2]?'me':'')+'">$'+c.toLocaleString('en-US',{maximumFractionDigits:0})+'/міс.</span>'}); co.innerHTML=h+'<span style="color:#a5a4a2">Символів на місяць</span><span style="color:#a5a4a2">'+(ch/1e6).toLocaleString('en-US',{maximumFractionDigits:1})+'M</span>';} rng.addEventListener('input',calc);calc(); R.querySelectorAll('#aai-cards .card').forEach(function(c){c.addEventListener('click',function(){c.classList.toggle('open');setTimeout(resize,40)})}); draw('ent');show(0); window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,300); })(); </script> </body></html>">

Як AssemblyAI-TTS-1 порівнюється з ElevenLabs, Cartesia та Inworld?

ХарактеристикаAssemblyAI-TTS-1Inworld TTS-2 FlashElevenLabs Flash v2.5Cartesia Sonic 3.6
Розмір моделіНе розкритоНе розкритоНе розкритоНе розкрито
АрхітектураБезперервні представлення аудіоНе розкритоНе розкритоМодель простору станів (SSM)
ДоступAPI на хостингу (США, ЄС)API на хостингуAPI на хостингуAPI на хостингу; локальне розгортання та VPC для корпоративних клієнтів
Мови6Понад 2003244
Заявлена постачальником затримкаБлизько 90 мс до першого аудіоМенше 25 мс серверного TTFB P99Близько 75 мсМенше 90 мс
Медіанний TTFB, тест AssemblyAI47 мс244 мс119 мс143 мс
Медіанна затримка потокової передачі, Cekura159 мс45 мс177 мс270 мс
Точність сутностей, набір AssemblyAI93,7%Не повідомляється68,0%82,5%
Точність читання, Cekura81,5%93,2%64,4%74,9%
Природність, Cekura (UTMOS)4,504,464,334,41
Роздрібна ціна за 1 млн символів$15$15 за запитом, $7 за планом Growth$40$37,38–$50 через кредити плану
Паралельність для самостійного використанняНеобмежена за моделлю оплати за фактом використанняВід 5 до 500 запитів залежно від плануНе розкритоВід 2 до 15 запитів залежно від плану
Клонування голосуЛише миттєвеМиттєве та професійнеТакМиттєве та професійне

Діапазон Cartesia обчислено шляхом ділення ціни кожного плану на кількість кредитів, із розрахунку 1 кредит на символ.

Скільки коштує AssemblyAI-TTS-1?

Оплата здійснюється за кожен вхідний символ, включно з пробілами та пунктуацією, за тарифом $15 за 1 млн. Усі голоси, клонування, часові мітки слів і обробка в ЄС входять у цю саму ставку. Плати за голос, паралельність або мінімального обсягу немає. AssemblyAI називає це найдешевшою передовою моделлю TTS для голосових агентів. Однак Inworld TTS-2 Flash також вказує $15 за 1 млн за запитом, а на платних планах ціна знижується до $7. Головна відмінність — паралельність: тариф Inworld за запитом дозволяє 5 одночасних запитів.

Ключові висновки

  • AssemblyAI-TTS-1 — перша модель перетворення тексту на мовлення від AssemblyAI, створена для голосових агентів у реальному часі.
  • Вона коштує $15 за 1 млн символів, має необмежену паралельність і не потребує контракту.
  • За власними даними: точність сутностей 93,7% і медіанний час до першого байта 47 мс.
  • Cekura виміряла затримку потокової передачі 159 мс і точність читання 81,5%.
  • Відсутні на момент запуску: SSML, керування швидкістю, словники вимови та теги емоцій.

Ознайомтеся з публікацією про запуск, документацією, цінами, а також еталонними агентами для LiveKit і Pipecat. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання з понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Текст і зображення належать MarkTechPost і наводяться тут із зазначенням авторства та посиланням на оригінальну публікацію.

← До новин

Ще новини

Усі останні новини