Sakhanda Wire
NVDA $215.38 -1.17% MSFT $531.01 -0.06% GOOGL $324.89 +1.34% META $612.49 -1.24% AMZN $254.60 +0.59%
← К новостям

AssemblyAI выпускает AssemblyAI-TTS-1: API преобразования текста в речь для голосовых агентов за $15 за 1 млн символов

AssemblyAI выпустила AssemblyAI-TTS-1 — свою первую модель преобразования текста в речь, которая теперь доступна всем пользователям. API преобразования текста в речь AssemblyAI-TTS-1 предназначен для голосовых агентов, работающих во время телефонных разговоров в реальном времени. В таких условиях от задержки и произношения зависит, останется ли звонящий на линии. Стоимость составляет $15 за 1 млн символов, без годового контракта и необходимости покупать тариф с определённым уровнем параллелизма. Для разработчиков, уже использующих преобразование речи в текст от AssemblyAI, это замыкает голосовой цикл у одного поставщика.

Кратко

  • Размер: Это модель в виде размещаемого API.
  • Работает: Только в облаке AssemblyAI — в США (us-east-1) или ЕС (eu-north-1). Открытых весов или локального варианта нет. Подойдёт любой клиент с поддержкой HTTP или WebSocket.
  • Производительность: В тестах AssemblyAI сопоставима с ElevenLabs v4 по точности распознавания сущностей, но стоит менее пятой части его цены.
  • Лучший результат: Медианное время до первого байта — 47 мс среди 6 моделей в API-тесте AssemblyAI (по данным самой компании).
  • Худший результат: Медианная задержка потоковой передачи — 159 мс в независимом тесте Cekura, 8-е место среди 19 измеренных моделей.
  • Итог:
    • Плюс: $15 за 1 млн символов при неограниченном параллелизме.
    • Минус: пока нет SSML, управления скоростью, словарей произношения и тегов эмоций.

Что такое AssemblyAI-TTS-1?

AssemblyAI-TTS-1 — потоковая модель преобразования текста в речь от AssemblyAI, которая превращает ответы агента в речь во время звонков в реальном времени. Она была обучена на миллионах часов аудио, включая реальные разговорные данные. Большинство моделей TTS представляют аудио в виде дискретных токенов. AssemblyAI утверждает, что TTS-1 вместо этого работает с непрерывными аудиопредставлениями. По заявлению AssemblyAI, это повышает реалистичность и сокращает время до первого произнесённого звука.

В рамках запуска также доступны библиотека из более чем 4 000 голосов и мгновенное клонирование голоса. Для клонирования требуется короткая запись и подтверждение разрешения от говорящего. В примере из публикации о запуске использовалась аудиозапись длительностью 24 секунды. На момент запуска поддерживаются шесть языков: английский, испанский, французский, немецкий, итальянский и португальский.

Как разработчики интегрируют AssemblyAI-TTS-1?

Доступны 3 интерфейса: HTTP API, WebSocket API и совместимый с OpenAI маршрут. Сессия WebSocket поддерживает одно соединение на разговор и принимает сообщение отмены для перебивания речи собеседником. Выходной сигнал — моно PCM, mu-law или A-law с частотой от 8 до 48 кГц. Нативный формат — PCM 24 кГц; телефония может напрямую запрашивать mu-law 8 кГц. Временные метки слов включены. AssemblyAI также опубликовала эталонных агентов для LiveKit и Pipecat.

Как AssemblyAI-TTS-1 показывает себя в тестах?

AssemblyAI протестировала TTS-1 в сравнении с 5 моделями на 4 англоязычных наборах, используя 50 сопоставимых клонированных голосов. Все приведённые ниже показатели являются данными самой компании, полученными в рамках оценки от 28 октября 2026 года.

  • Точность распознавания сущностей (580 сложных элементов, таких как номера телефонов и коды): 93,7% против 93,6% у ElevenLabs v4, 82,5% у Cartesia Sonic 3.6 и 68,0% у ElevenLabs Flash v2.5.
  • Точность слов: 99,0% на предложениях из Seed-TTS и LibriSpeech.
  • Прогнозируемый MOS: 3,85 — ниже, чем 3,88 у Inworld TTS-2 Flash, и выше, чем 3,82 у Sonic 3.6.
  • Медианное время до первого байта: 47 мс. Flash v2.5 потребовалось 119 мс, Sonic 3.6 — 143 мс, Inworld TTS-2 Flash — 244 мс.
  • Другое: оценка просодии TTSDS — 85,5, сходство говорящего для клонированного аудио — 0,64.

Независимые результаты более неоднозначны. В тесте Cekura 27 моделей TTS-1 набрала 81,5% по точности чтения и 4,50 по естественности. Её медианная задержка потоковой передачи, измеренная от отправки последнего слова, составила 159 мс. Inworld TTS-2 Flash показала там 45 мс и точность 93,2% при той же цене в $15. AssemblyAI также ссылается на коэффициент ошибок слов 1,7% в рейтинге Coval. Компания сообщает о дебюте в первой десятке на площадке Artificial Analysis для голосов в контролируемых условиях.

Воспроизвести</button> <button class="btn ghost" id="aai-prev">‹ Назад</button> <button class="btn ghost" id="aai-next">Далее ›</button> </div> </div> <div class="pane" data-p="bench"> <div class="pills" id="aai-pills"> <button class="pill on" data-m="ent">Точность сущностей</button> <button class="pill" data-m="ttfb">Медианное TTFB (тест AssemblyAI)</button> <button class="pill" data-m="cstream">Задержка потоковой передачи (Cekura)</button> <button class="pill" data-m="cacc">Точность чтения (Cekura)</button> </div> <div class="bars" id="aai-bars"></div> <p class="note" id="aai-bnote"></p> </div> <div class="pane" data-p="cost"> <div class="calc"> <label for="aai-min">Минуты речи в месяц: <b id="aai-minv" style="color:#fdfcf8">10,000</b></label> <input type="range" id="aai-min" min="1000" max="200000" step="1000" value="10000"> <div class="cost" id="aai-cost"></div> <p class="note">Предполагается 600 символов на минуту телефонной речи — показатель, который AssemblyAI приводит как типичный. Цены за 1 млн символов: AssemblyAI-TTS-1 — $15, Inworld TTS-2 Flash — $15 по запросу, ElevenLabs Flash v2.5 — $40, ElevenLabs v4 — $80. Ограничения параллелизма в расчёт не включены.</p> </div> </div> <div class="pane" data-p="limits"> <div class="grid" id="aai-cards"> <div class="card"><h4>Нет SSML и управления скоростью <span class="tag">НЕДОСТАТОК ЗАПУСКА</span></h4><p>WebSocket API не имеет параметров скорости, высоты тона, эмоций или стиля, а ни один из API не принимает SSML. Пунктуация и написанные заполнители вроде "э-э" по-прежнему влияют на подачу.</p></div> <div class="card"><h4>Нет словарей произношения <span class="tag">СКОРО</span></h4><p>Пользовательские словари произношения и теги эмоций анонсированы, но пока не выпущены. Cartesia Sonic 3.6 уже поддерживает пользовательское произношение.</p></div> <div class="card"><h4>6 языков <span class="tag">ОХВАТ</span></h4><p>Английский, испанский, французский, немецкий, итальянский и португальский. ElevenLabs Flash v2.5 заявляет 32 языка, а Cartesia Sonic 3.6 — 44.</p></div> <div class="card"><h4>Задержка зависит от метода <span class="tag">ПРОВЕРЬТЕ</span></h4><p>Около 90 мс заявлено, 47 мс — медиана в собственном тесте AssemblyAI, 159 мс — медианная задержка потоковой передачи в Cekura (измеренная от отправки последнего слова).</p></div> <div class="card"><h4>Только мгновенное клонирование <span class="tag">НЕДОСТАТОК ЗАПУСКА</span></h4><p>Профессиональное клонирование голоса с тонкой настройкой пока недоступно. Для мгновенного клонирования нужны короткая запись и разрешение говорящего.</p></div> <div class="card"><h4>Только облако <span class="tag">РАЗВЁРТЫВАНИЕ</span></h4><p>Серверы в США (us-east-1) и ЕС (eu-north-1) по одинаковой цене. Локальный вариант не анонсирован.</p></div> </div> <p class="note">Нажмите на карточку, чтобы развернуть её.</p> </div> <div class="ft"><span>Источники: публикация AssemblyAI о запуске, документация и цены; тест TTS от Cekura; страницы с ценами поставщиков. Проверено 29 октября 2026 года.</span><span class="mtp">Создано Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-aai-tts1');if(!R)return; function resize(){try{parent.postMessage({mtpEmbed:'aai-tts1',h:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.addEventListener('click',function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); R.querySelectorAll('.pane').forEach(function(p){p.classList.toggle('on',p.getAttribute('data-p')===t.getAttribute('data-t'))}); if(t.getAttribute('data-t')==='bench')draw(cur);setTimeout(resize,60);});}); var steps=['LLM вашего агента формирует ответ. Текст можно отправлять слово за словом по мере его генерации.', 'Одна сессия WebSocket на разговор. Голос, язык, частота дискретизации и кодирование фиксируются во время подключения.', 'TTS-1 моделирует речь с помощью непрерывных аудиопредставлений, а не дискретных токенов. AssemblyAI утверждает, что это повышает реалистичность и скорость.', 'Аудио передаётся обратно как необработанный моно PCM, mu-law или A-law. Нативный формат — PCM 24 кГц; mu-law 8 кГц подходит для телефонных линий.', 'Если звонящий перебивает, сообщение отмены останавливает речь. Временные метки слов показывают, что именно было сказано.']; var nodes=R.querySelectorAll('#aai-flow .node'),det=R.querySelector('#aai-detail'),si=-1,timer=null; function show(i){si=(i+nodes.length)%nodes.length;nodes.forEach(function(n,k){n.classList.toggle('act',k===si);n.classList.toggle('playing',k===3&&si>=3)});det.textContent=(si+1)+'/5 · '+steps[si];resize();} R.querySelector('#aai-next').onclick=function(){stop();show(si+1)}; R.querySelector('#aai-prev').onclick=function(){stop();show(si<=0?4:si-1)}; var pb=R.querySelector('#aai-play'); function stop(){if(timer){clearInterval(timer);timer=null;pb.textContent=' Воспроизвести'}} pb.onclick=function(){if(timer){stop();return}pb.textContent='❚❚ Пауза';show(si+1);timer=setInterval(function(){show(si+1)},2200)}; var D={ ent:{u:'%',max:100,hi:true,note:'Набор произношения AssemblyAI: 580 сложных элементов (номера телефонов, даты, URL, коды). Данные самой компании, оценка от 28 октября 2026 года.', r:[['AssemblyAI-TTS-1',93.7,1],['ElevenLabs v4',93.6],['Cartesia Sonic 3.6',82.5],['ElevenLabs Flash v2.5',68.0]]}, ttfb:{u:' мс',max:650,hi:false,note:'Медианное время до первого байта для каждого API от одного клиента, по одному запросу за раз. Данные самой AssemblyAI. Чем меньше, тем лучше.', r:[['AssemblyAI-TTS-1',47,1],['ElevenLabs Flash v2.5',119],['Cartesia Sonic 3.6',143],['Inworld TTS-2 Flash',244],['Inworld TTS-2',280],['ElevenLabs v4',612]]}, cstream:{u:' мс',max:600,hi:false,note:'Cekura: медианное время от отправки последнего слова до первого слышимого звука, восток США, 104 предложения × 3 прочтения. Независимый тест. Чем меньше, тем лучше.', r:[['Inworld TTS-2 Flash',45],['AssemblyAI-TTS-1',159,1],['ElevenLabs Flash v2.5',177],['Cartesia Sonic 3.6',270],['ElevenLabs v4',561]]}, cacc:{u:'%',max:100,hi:true,note:'Cekura: правильно прочитанные сложные фрагменты, оценённые системами преобразования речи в текст (оценка, а не оценка людьми). Независимый тест.', r:[['Inworld TTS-2 Flash',93.2],['AssemblyAI-TTS-1',81.5,1],['ElevenLabs v4',80.4],['Cartesia Sonic 3.6',74.9],['ElevenLabs Flash v2.5',64.4]]}}; var cur='ent',bars=R.querySelector('#aai-bars'),bn=R.querySelector('#aai-bnote'); function draw(m){cur=m;var d=D[m];bars.innerHTML='';d.r.forEach(function(x){ var row=document.createElement('div');row.className='row'+(x[2]?' me':''); row.innerHTML='<span class="nm">'+x[0]+'</span><span class="track"><span class="fill"></span></span><span class="val">'+(d.u==='%'?x[1].toFixed(1):x[1])+d.u+'</span>'; bars.appendChild(row);var f=row.querySelector('.fill');setTimeout(function(){f.style.width=Math.max(2,x[1]/d.max*100)+'%'},40);}); bn.textContent=d.note;setTimeout(resize,60);} R.querySelectorAll('#aai-pills .pill').forEach(function(p){p.addEventListener('click',function(){ R.querySelectorAll('#aai-pills .pill').forEach(function(x){x.classList.remove('on')});p.classList.add('on');draw(p.getAttribute('data-m'))})}); var rng=R.querySelector('#aai-min'),mv=R.querySelector('#aai-minv'),co=R.querySelector('#aai-cost'); var P=[['AssemblyAI-TTS-1',15,1],['Inworld TTS-2 Flash (по запросу)',15],['ElevenLabs Flash v2.5',40],['ElevenLabs v4',80]]; function calc(){var m=+rng.value,ch=m*600;mv.textContent=m.toLocaleString('en-US');var h=''; P.forEach(function(p){var c=ch/1e6*p[1];h+='<span class="'+(p[2]?'me':'')+'">'+p[0]+'</span><span class="'+(p[2]?'me':'')+'">$'+c.toLocaleString('en-US',{maximumFractionDigits:0})+'/мес.</span>'}); co.innerHTML=h+'<span style="color:#a5a4a2">Символов в месяц</span><span style="color:#a5a4a2">'+(ch/1e6).toLocaleString('en-US',{maximumFractionDigits:1})+' млн</span>';} rng.addEventListener('input',calc);calc(); R.querySelectorAll('#aai-cards .card').forEach(function(c){c.addEventListener('click',function(){c.classList.toggle('open');setTimeout(resize,40)})}); draw('ent');show(0); window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,300); })(); </script> </body></html>">

Как AssemblyAI-TTS-1 сравнивается с ElevenLabs, Cartesia и Inworld?

ХарактеристикаAssemblyAI-TTS-1Inworld TTS-2 FlashElevenLabs Flash v2.5Cartesia Sonic 3.6
Размер моделиНе раскрываетсяНе раскрываетсяНе раскрываетсяНе раскрывается
АрхитектураНепрерывные аудиопредставленияНе раскрываетсяНе раскрываетсяМодель пространства состояний (SSM)
ДоступРазмещаемый API (США, ЕС)Размещаемый APIРазмещаемый APIРазмещаемый API; локальное и VPC-развёртывание для корпоративных клиентов
Языки6200+3244
Заявленная поставщиком задержкаОколо 90 мс до первого звукаМенее 25 мс P99 серверного TTFBОколо 75 мсМенее 90 мс
Медианное TTFB, тест AssemblyAI47 мс244 мс119 мс143 мс
Медианная задержка потоковой передачи, Cekura159 мс45 мс177 мс270 мс
Точность сущностей, набор AssemblyAI93,7%Нет данных68,0%82,5%
Точность чтения, Cekura81,5%93,2%64,4%74,9%
Естественность, Cekura (UTMOS)4,504,464,334,41
Цена за 1 млн символов$15$15 по запросу, $7 на тарифе Growth$40от $37,38 до $50 через кредиты тарифа
Параллелизм для самостоятельного использованияНеограниченный при оплате по мере использованияОт 5 до 500 запросов в зависимости от тарифаНе раскрываетсяОт 2 до 15 запросов в зависимости от тарифа
Клонирование голосаТолько мгновенноеМгновенное и профессиональноеДаМгновенное и профессиональное

Диапазон цен Cartesia рассчитан путём деления стоимости каждого тарифа на количество кредитов при расчёте 1 кредита за символ.

Сколько стоит AssemblyAI-TTS-1?

Оплата взимается за каждый входной символ, включая пробелы и пунктуацию, по тарифу $15 за 1 млн. Все голоса, клонирование, временные метки слов и обработка в ЕС предоставляются по той же ставке. Плата за отдельные голоса, параллелизм или минимальный объём отсутствует. AssemblyAI называет модель TTS-1 самой доступной передовой моделью TTS для голосовых агентов. Однако Inworld TTS-2 Flash также стоит $15 за 1 млн символов по запросу, а на платных тарифах цена снижается до $7. Более существенное различие связано с параллелизмом: тариф Inworld по запросу допускает 5 одновременных запросов.

Основные выводы

  • AssemblyAI-TTS-1 — первая модель преобразования текста в речь от AssemblyAI, созданная для голосовых агентов в реальном времени.
  • Стоимость составляет $15 за 1 млн символов, при неограниченном параллелизме и без контракта.
  • По данным самой компании: точность сущностей — 93,7%, медианное время до первого байта — 47 мс.
  • Cekura измерила задержку потоковой передачи 159 мс и точность чтения 81,5%.
  • Отсутствует на момент запуска: SSML, управление скоростью, словари произношения и теги эмоций.

Ознакомьтесь с публикацией о запуске, документацией, тарифами, а также эталонными агентами для LiveKit и Pipecat. Кроме того, подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы можете присоединиться к нам и в Telegram.

Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы Hugging Face, выпуска продукта, вебинара и т. д.? Свяжитесь с нами

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Текст и изображения принадлежат MarkTechPost и приводятся здесь с указанием авторства и ссылкой на оригинальную публикацию.

← К новостям

Ещё новости

Все последние новости