CUGA изпревари Hermes и Deep Agents в сравнение с AppWorld

Екип на IBM Research сравни три хранилища за агентни системи, използвайки един и същия модел с отворени тегла, GLM-5.3-flash, върху 90 задачи от AppWorld в 30 сценария. Бенчмаркът обхваща девет приложения и 457 API, включително електронна поща, плащания и файлово хранилище. CUGA изпълни 73 задачи, или 81,1%, Hermes — 42, или 46,7%, а Deep Agents — 27, или 30,0%. По всички задачи в даден сценарий преминаха 20 сценария с CUGA, осем с Hermes и два с Deep Agents.

Изследователите запазиха модела непроменен и смениха само хранилището, като използваха рамката за оценяване Harbor. Конфигурацията на CUGA включваше разделяне на задачите, подбор на инструменти, проверка преди изпълнение и автоматична рефлексия. Hermes работеше с настройката по подразбиране на Harbor и AppWorld инструменти чрез MCP, а Deep Agents използваше междинен софтуер на LangChain и допълнителни функции за управление на инструментите.

Авторите подчертаха, че резултатите не представляват обща класация. Hermes и Deep Agents не са създадени специално за работа с API на множество приложения, а конфигурациите не са били идентични. Тестът е върху един бенчмарк и не измерва прилагането на политики. Според екипа CUGA е насочено към корпоративна автоматизация и може да работи в частни, суверенни и изолирани среди.