CUGA показала кращий результат у порівнянні з Hermes і Deep Agents

Команда IBM Research порівняла три оболонки для агентів на тій самій моделі з відкритими вагами GLM-5.3-flash. Тест охопив 90 завдань AppWorld у 30 сценаріях. Бенчмарк містить дев’ять застосунків і 457 API, зокрема електронну пошту, платежі та файлове сховище. CUGA виконала 73 завдання, або 81,1%, Hermes — 42, або 46,7%, а Deep Agents — 27, або 30,0%. Усі варіанти завдань пройшли в 20 сценаріях із CUGA, у восьми з Hermes і у двох із Deep Agents.

Дослідники змінювали оболонку, залишаючи модель незмінною, та використовували фреймворк оцінювання Harbor. Конфігурація CUGA передбачала поділ завдання на етапи, добір інструментів, перевірку перед виконанням і автоматичну рефлексію. Hermes працювала зі стандартною конфігурацією Harbor та інструментами AppWorld через MCP. Deep Agents використовувала вбудоване проміжне програмне забезпечення LangChain і додаткові засоби керування інструментами.

Автори наголошують, що це не загальний рейтинг: Hermes і Deep Agents не розроблялися спеціально для роботи з API багатьох застосунків, а налаштування відрізнялися. Дослідження охопило один бенчмарк і не перевіряло дотримання політик. CUGA позиціонується як оболонка для корпоративної автоматизації, що може працювати у приватних, суверенних та ізольованих середовищах із правилами, які виконує середовище запуску.