Deepgram купує Daily, розробника Pipecat, щоб посилити свою інфраструктуру голосового ШІ

Сектор голосового ШІ переживає бум, і провідні гравці намагаються зміцнити свої позиції, оскільки завдяки партнерствам і придбанням з’являється дедалі більше бізнес-моделей. Deepgram стала останньою компанією, яка вдалася до таких кроків: у четвер компанія повідомила, що придбаває Daily — розробника й супровідника однієї з найпопулярніших інфраструктур для голосового ШІ з відкритим кодом Pipecat.

Компанії не розкрили суму угоди, але заявили, що залишать Pipecat проєктом із відкритим кодом.

Для тих, хто не знайомий із продуктом, Pipecat — це фреймворк, який керує голосовими й відеопотоками, а також іншими компонентами конвеєра, як-от перетворенням мовлення на текст (STT), великими мовними моделями та моделями перетворення тексту на мовлення (TTS), водночас зменшуючи затримку. Його розробник Daily надає хостингову інфраструктуру для голосових і відеодзвінків будь-якого типу.

Завдяки Pipecat Deepgram, імовірно, отримає глибше розуміння інфраструктури для голосового й відеозв’язку в реальному часі.

Згідно з даними PitchBook, Daily залучила понад $62 мільйони інвестицій від таких інвесторів, як Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom і Kevin Weil. На початку цього року Deepgram досягла статусу єдинорога завдяки раунду Series C на $130 мільйонів. До речі, у 2016 році обидві компанії входили до однієї когорти Y Combinator.

Співзасновник Daily Квіндла Крамер розповів, що приблизно в той час, коли вийшла GPT-4, компанія почала експериментувати зі спілкуванням між ШІ та людьми за допомогою голосу й тексту, що зрештою призвело до створення фреймворку Pipecat. Він зазначив, що, хоча компанія отримувала чимало пропозицій про придбання, йому імпонували готовність генерального директора Deepgram Скотта Стівенсона назавжди залишити Pipecat проєктом із відкритим кодом, а також схожість інженерних культур обох організацій, яка дає команді Daily свободу працювати над різними частинами технологічного стеку в межах більшої організації.

«Скотт був надзвичайно відданий тому, щоб Pipecat назавжди залишався проєктом із відкритим кодом і нейтральним щодо постачальників. Думаю, тут є як особиста відданість, так і комерційний стимул. Якщо ти перебуваєш у центрі екосистеми, яка дуже швидко розвивається, і маєш багато її складових, які справді є найкращими завдяки твоїй компанії, то максимальна відкритість усього — це комерційна перевага», — сказав Крамер TechCrunch.

Стівенсон заявив, що Deepgram уже давно хотіла працювати з відкритим кодом, і компанія зрозуміла, що потенційним напрямом може стати фреймворк оркестрації для агентів, що й підштовхнуло її до рішення про партнерство з Daily.

«Ми хочемо відкрити екосистему, щоб кожен міг створювати голосових агентів. Чудово, якщо ви використовуєте моделі Deepgram, але я хочу, щоб для свого конкретного випадку використання ви застосовували найкращі моделі. І якщо Deepgram побачить, що в певній сфері нашим власним моделям і продуктам ще є що надолужити, це чудово. Ми хочемо, щоб ви використовували продукти партнерів, а самі також працюватимемо над покращенням у цих сферах», — сказав він.

Стівенсон зазначив, що придбання дає розробникам змогу створювати агентів із виразністю та наскрізними мовленнєвими системами, підключаючи різні моделі й контекстну шину, яка поєднує всі компоненти.

Для Deepgram ця угода також відкриває можливість досліджувати сфери за межами голосових технологій за допомогою Pipecat, оскільки фреймворк призначений для комунікації в реальному часі в різних форматах.

«Ми ніколи не розглядали Pipecat як набір інструментів для роботи з голосом. Ми думали про нього як про набір інструментів, необхідний для створення нового типу програмного забезпечення, нативного для ШІ. З огляду на наше походження ми завжди просто виходили з того, що йдеться про роботу в реальному часі», — сказав Крамер.

Deepgram також запускає Real-Time Context Standard (RCS) — відкритий протокол для голосових агентів, який компанія спільно розробила з командою Pipecat. Протокол визначає такі метадані, як контекст з аудіо, наприклад шепіт, інструкції для мовної моделі щодо використання цих сигналів і вказівки щодо того, як має звучати відповідь.

Голосовий ШІ залучив значні інвестиції як з боку розробників моделей, так і з боку інфраструктурних компаній. Розробники моделей, як-от ElevenLabs, Gradium і Fish Audio, залучили мільйони доларів. Водночас інфраструктурні компанії, як-от LiveKit і Vapi, цього року залучили багатомільйонні раунди фінансування.