Gander от Tencent стремится продолжать разговор, работая в фоновом режиме

Исследовательская модель Gander от Tencent сочетает разговоры в реальном времени с возможностями ИИ-агента. «Мозжечок» ведёт разговор, а сменный «мозг» выполняет сложные задачи. Пользователи могут прервать модель в любой момент, однако тесты показывают компромисс между своевременностью диалога и точностью выполнения задач.

Команда Hunyuan Speech из Tencent и исследователи нескольких университетов представили Gander — модель ИИ, разработанную для поддержания разговора во время выполнения сложных задач. Согласно техническому отчёту, она одновременно получает на вход речь, изображения и текст.

Сегодняшние голосовые помощники в основном общаются с пользователями по очереди, утверждают исследователи. В реальных разговорах люди перебивают друг друга, быстро реагируют и слушают собеседника, одновременно говоря сами. Gander разработан для такой двусторонней коммуникации: он непрерывно обрабатывает видео, речь и текст, даже когда сам говорит. Пользователь может вмешаться в любой момент, а модель — задать уточняющие вопросы или сообщить о ходе выполнения задачи без соответствующего запроса.

Gander продолжает разговор, пока его «мозг» работает

Для разговора нужны быстрые ответы, но поиск файлов или написание кода требуют времени на планирование. Исследователи утверждают, что одной модели приходится балансировать между скоростью и способностью рассуждать, поэтому Gander разделяет работу между двумя компонентами.

По аналогии с человеческой анатомией они называют их «мозжечком» и «мозгом». Мозжечок отвечает за разговор в реальном времени, а мозг занимается рассуждениями и сложными задачами в фоновом режиме.

Мозг можно заменить агентскими системами, такими как Codex или Claude Code, без повторного обучения разговорной модели. В тестах эту роль выполняла не указанная в отчёте модель из семейства GPT-5.6 от OpenAI. По мере совершенствования базовой модели выигрывает вся система.

Gander хорошо выбирает момент ответа, но уступает в точности выполнения задач

Gander разбивает разговоры на односекундные отрезки, чтобы мозжечок мог решить, когда слушать, говорить или остановиться, если пользователь его перебивает. Он принимает эти решения без отдельного модуля для определения начала и окончания речи, используя в качестве памяти примерно последние две минуты разговора.

Поскольку специального теста для таких моделей, как Gander, пока нет, исследователи обратились к уже существующим бенчмаркам. В отчёте говорится, что Gander показал лучшие результаты по выбору времени ответа в Full-Duplex-Bench v3, который тестирует голосовых помощников в различных сценариях.

Gander начинает говорить в подходящий момент во всех 100 сценариях и перебивает пользователей в 8% случаев. Для сравнения, у GPT-Realtime этот показатель составляет 13,5%, а у наименее успешного конкурента — почти 48%. Согласно отчёту, Gander использует относительно небольшую модель, конкурируя с коммерческими системами, включая GPT-Realtime, Gemini Live и Grok.

Gander немного уступает по точности выполнения задач. Исследователи объясняют это отчасти тем, что тест оценивает всю систему целиком, поэтому ошибки распознавания речи и генерации ответа снижают результат. Мозг показывает гораздо лучшие результаты, если напрямую получает текст.

Понимание видео и аудио также страдает: в одном из тестов Gander показал результат хуже базовой модели, что исследователи связывают с обучением, отдающим предпочтение плавности разговора, а не точности восприятия. Это касается таких задач, как подсчёт объектов и определение их местоположения на изображении.

Tencent планирует выпустить веса Gander и обучающие данные

Согласно отчёту, Gander обучался примерно на 2,7 млн примеров. Некоторые из них учат модель сохранять молчание при наличии фонового шума или когда никто в группе не обращается к ней.

Исследователи говорят, что работа всё ещё находится на ранней стадии. Вопрос о том, как масштабировать Gander, остаётся открытым, а стандартного способа оценки подобных систем пока нет.

Команда планирует опубликовать веса и обучающие данные после завершения «процесса выпуска в открытый доступ». Репозиторий кода на GitHub уже существует, а демонстрации доступны на странице проекта.

Всё больше компаний распределяют работу агентов между моделями

Gander появился после июльского выпуска Tencent — Hy3, открытой языковой модели, которая, по сообщениям, сократила отставание от конкурентов, особенно в агентских задачах. Hy3 уже работает в WorkBuddy, Yuanbao и WeChat. Компания также ведёт переговоры о приобретении крупнейшей доли в стартапе Manus после того, как Пекин заблокировал приобретение компании Meta. Tencent считает эту сделку соответствующей собственным планам, включая внедрение агента в WeChat.

Другие компании используют оркестраторы для распределения задач между моделями. GPT-Live от OpenAI отделяет разговор от рассуждений, передавая веб-поиск и агентские задачи фоновой модели, пока чат продолжается. Fugu компании Sakana AI — это отдельная языковая модель, которая вызывает другие модели из расширяемого пула. OpenAI также тестирует проактивных агентов, создающих последующие задачи и связывающихся с пользователями без запроса.

Обработка перебиваний и предотвращение задержек остаются практическими проблемами. Анализ Anthropic показал, что опытные пользователи перебивают Claude Code примерно в 9% рабочих шагов, тогда как новички — примерно в 5%. Согласно исследованию, команды, создающие разговорных голосовых и чат-агентов, особенно часто сообщают о проблемах с задержками.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER и получите чтение без рекламы, еженедельную рассылку об ИИ, наш эксклюзивный ежегодный шесть раз в год отчёт о передовых технологиях «AI Radar», полный доступ к архиву и доступ к разделу комментариев.