Deepgram приобретает Daily, разработчика Pipecat, чтобы укрепить свою инфраструктуру голосового ИИ

Сектор голосового ИИ переживает бум, и ведущие игроки стремятся укрепить свои позиции по мере появления новых бизнес-моделей благодаря партнерствам и приобретениям. Deepgram — последняя компания, предпринявшая такие шаги: в четверг компания сообщила о приобретении Daily, создателя и сопровождающего одной из самых популярных инфраструктур голосового ИИ с открытым исходным кодом — Pipecat.

Компании не раскрыли сумму сделки, но заявили, что сохранят открытый исходный код Pipecat.

Для тех, кто не знаком с этим продуктом: Pipecat — это фреймворк, который управляет потоками голоса и видео, а также другими компонентами конвейера, такими как преобразование речи в текст (STT), большие языковые модели и модели преобразования текста в речь (TTS), одновременно снижая задержку. Его создатель, Daily, предоставляет размещаемую инфраструктуру для голосовых и видеозвонков любого типа.

Благодаря Pipecat Deepgram, вероятно, получит более глубокое понимание инфраструктуры голосовой и видеосвязи в реальном времени.

Согласно данным PitchBook, на сегодняшний день Daily привлекла более 62 миллионов долларов инвестиций от таких инвесторов, как Tiger Global, Highfield Capital, Нэт Фридман, Лэчи Грум и Кевин Вейл. Ранее в этом году Deepgram получила статус «единорога» после раунда Series C на 130 миллионов долларов. Примечательно, что в 2016 году обе компании входили в одну и ту же группу акселератора Y Combinator.

Сооснователь Daily Квиндла Крамер рассказал, что примерно в то время, когда вышла GPT-4, компания начала экспериментировать с коммуникацией между ИИ и людьми посредством голоса и текста, что в итоге привело к созданию фреймворка Pipecat. Он отметил, что, хотя интерес со стороны покупателей был значительным, его приверженность генерального директора Deepgram Скотта Стивенсона идее навсегда сохранить Pipecat в открытом доступе, а также совпадение инженерных культур обеих организаций склонили его в пользу Deepgram, предоставив команде Daily свободу работать над разными уровнями стека в рамках более крупной организации.

«Скотт был твердо привержен тому, чтобы Pipecat навсегда оставался открытым и независимым от поставщиков. Думаю, здесь есть и личная приверженность, и коммерческий стимул. Если вы находитесь в центре экосистемы, которая очень быстро растет, и многие ее компоненты действительно являются лучшими в том, что касается вашей компании, то максимальная открытость всего этого становится коммерческим преимуществом», — сказал Крамер TechCrunch.

Стивенсон заявил, что Deepgram уже давно хотела работать с открытым исходным кодом, и компания поняла, что потенциальным направлением может стать фреймворк оркестрации для агентов, что и подтолкнуло ее к решению о партнерстве с Daily.

«Мы хотим открыть экосистему, чтобы каждый мог создавать голосовых агентов. Отлично, если вы используете модели Deepgram, но я хочу, чтобы вы использовали лучшие модели для своего сценария. И если Deepgram заметит, что нам нужно наверстать упущенное в определенной области применительно к нашим собственным моделям и продуктам, это тоже прекрасно. Мы хотим, чтобы вы использовали продукты партнеров, а сами будем работать над тем, чтобы стать лучше в этих областях», — сказал он.

По словам Стивенсона, приобретение позволяет разработчикам создавать агентов с выразительностью и сквозными речевыми системами, подключая различные модели и шину контекста, которая связывает все компоненты.

Для Deepgram эта сделка также дает возможность исследовать направления за пределами голосовых технологий с помощью Pipecat, поскольку фреймворк предназначен для коммуникации в реальном времени в различных форматах.

«Мы никогда не воспринимали Pipecat как набор инструментов для работы с голосом. Мы считали его набором инструментов, необходимым для создания нового типа программного обеспечения, изначально ориентированного на ИИ. Учитывая наше происхождение, мы всегда исходили из того, что речь идет о работе в реальном времени», — сказал Крамер.

Deepgram также запускает Real-Time Context Standard (RCS) — открытый протокол для голосовых агентов, разработанный совместно с командой Pipecat. Протокол определяет такие метаданные, как контекст аудио, например шепот, инструкции для языковой модели о том, как использовать эти сигналы, и рекомендации относительно того, как должен звучать ответ.

В голосовой ИИ было вложено много средств — как в разработку моделей, так и в инфраструктуру. Создатели моделей, такие как ElevenLabs, Gradium и Fish Audio, привлекли десятки миллионов долларов. С другой стороны, инфраструктурные компании, такие как LiveKit и Vapi, в этом году привлекли многомиллионные инвестиции.