CUGA показала лучший результат в сравнении с Hermes и Deep Agents

Команда IBM Research сравнила три агентных оболочки на одной и той же модели с открытыми весами GLM-5.3-flash. Тестирование проводилось на 90 заданиях AppWorld в рамках 30 сценариев. Бенчмарк включает девять приложений и 457 API, среди которых электронная почта, платежи и файловое хранилище. CUGA выполнила 73 задания, или 81,1%, Hermes — 42, или 46,7%, а Deep Agents — 27, или 30,0%. Все варианты заданий в 20 сценариях прошли с CUGA, в восьми — с Hermes и в двух — с Deep Agents.

Исследователи изменяли оболочку, сохраняя модель, и использовали фреймворк оценки Harbor. В конфигурацию CUGA входили разбиение задачи на этапы, выбор релевантных инструментов, проверка перед выполнением и автоматическая рефлексия. Hermes запускалась с конфигурацией Harbor по умолчанию и инструментами AppWorld через MCP. Deep Agents применяла встроенное промежуточное ПО LangChain и дополнительные механизмы выбора инструментов, ведения списка задач и повторных попыток.

Авторы отмечают, что это не универсальный рейтинг: Hermes и Deep Agents не создавались специально для работы с API нескольких приложений, а настройки различались. Исследование охватило один бенчмарк и не проверяло применение политик. CUGA представлена как оболочка для корпоративной автоматизации, способная работать в частных, суверенных и изолированных средах с исполняемыми ограничениями.