Tencent разделяет живой разговор и фоновые задачи в Gander
Tencent представила исследовательскую модель Gander, которая должна поддерживать разговор в реальном времени, одновременно выполняя более сложные задачи в фоне. Модель обрабатывает речь, изображения и текст, может слушать во время собственного ответа и принимает перебивания или изменения задания. Она также способна задавать уточняющие вопросы и сообщать о ходе работы без отдельной команды пользователя.
Система состоит из двух функциональных частей. «Мозжечок» принимает быстрые решения о том, когда слушать, говорить или остановиться, разделяя разговор на отрезки по одной секунде и используя около двух минут недавнего контекста. Сменный «мозг» занимается сложными операциями, включая поиск файлов и исправление кода. В тестах эту роль выполняла неуточнённая модель из семейства GPT-5.6 компании OpenAI.
В Full-Duplex-Bench v3 Gander начинала говорить в подходящий момент во всех 100 сценариях и перебивала пользователей в 8% случаев, тогда как показатель GPT-Realtime составил 13,5%. При этом точность выполнения задач оказалась немного ниже, чем у самого слабого конкурента, а понимание некоторых аудио- и видеоматериалов было хуже. Tencent планирует выпустить веса модели и данные обучения после завершения процедуры открытой публикации. Код и демонстрации уже доступны в репозитории GitHub.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.