Новая голосовая модель Block звучит пугающе человечно

Block Джека Дорси выпустила новую голосовую модель из исследовательской лаборатории компании, которая работает локально и звучит удивительно по-человечески благодаря таким особенностям, как смех, паузы и плач. Компания заявила, что модель под названием Dessa полностью обучена на человеческой речи и работает на одном графическом процессоре NVIDIA.

Dessa — это полнодуплексная модель, то есть она может одновременно говорить и слушать, как и модель GPT-Live, которую OpenAI выпустила ранее в этом году. Обычно речевые модели работают в связке с большой языковой моделью для поиска знаний. В Block заявили, что знания Dessa основаны на имеющихся у неё разговорных данных.

В Block заявили, что нынешние модели могут звучать неестественно и раздражающе, поскольку в их конвейере есть текст, который управляет генерацией речи. Многие модели, такие как ElevenLabs v4 или Fish Audio Drama 3 , используют голосовые теги для управления эмоциями при генерации речи. Компания Дорси утверждает, что эмоции встроены в её модель. При этом неясно, управляются ли эти эмоции с помощью тегов какого-либо типа.

«Взаимодействие с современным голосовым ИИ может быть откровенно ужасным. Он превращает ваш голос в текст и отбрасывает огромное количество информации, которую один текст передать не способен. Самые мощные ИИ в мире не слышат, что вы чувствуете. Мы считаем это абсурдным, ведущим к ухудшению пользовательского опыта и потенциально опасным», — говорится в сообщении в блоге компании.

Исследователи компании опубликовали несколько примеров разговоров с Dessa, в которых у агента были разные голоса, ритм речи и эмоции. Например, в одном из разговоров бот сказал, что устал после работы, и в этот момент действительно звучал уставшим.

В примере ниже бот говорил о том, как человек, создавший его, помогает ему чувствовать себя комфортно, при этом звучал эмоционально и почти срывался.

В ещё одном ролике сотрудник Block играет в игру с голосовым помощником.

Компания заявила, что модель может работать локально на компьютере потребительского класса, например MacBook M4 Max или более мощном устройстве. Однако в данный момент публичного доступа к Dessa нет, и Block призвала исследователей в области безопасности протестировать модель. Вероятно, это нужно для проверки сценариев, в которых голосовой агент может обмануть собеседников на другом конце линии.

Block занимается финансовыми услугами и продаёт свои решения малому бизнесу. Square уже использует голосовой ИИ для обработки заказов. Но собственная голосовая модель, способная работать непосредственно на устройстве, позволит обеспечивать гораздо большее число бизнес-сценариев и возможностей для потребителей при меньших затратах.