CloudOpsBench посочва разсъждението като основна пречка за AI в облака

CloudOpsBench е нов бенчмарк с отворен код, който оценява как AI агенти изпълняват типични DevOps задачи в облачни среди. Версия 1.0 включва 45 задачи в AWS, сред които поправяне на услуги, премахване на ресурси, ограничаване на права за достъп, внедряване на обновления и извеждане на проекти от експлоатация. Бенчмаркът е разработен от опитни DevOps инженери.

Claude Fable 5.1 постига най-високия от посочените резултати, като решава 60% от задачите, докато GPT-6 Astra достига 53%. Нито един модел не изпълнява целия набор. Екипът, ръководен от Ang Chen от Мичиганския университет, определя разсъждението като основното ограничение, а не липсата на технически знания.

Около 80% от провалите са свързани с неправилна преценка за обхвата на задачата, непроверяване на всички относими услуги или прекратяване на работата твърде рано. При приблизително 20% от грешките агентите предприемат неправилни действия, някои от които могат необратимо да променят инфраструктурата. Задачите се изпълняват по идентичен начин в реалния AWS и в емулатор. Планирани са разширения за GCP, Azure и OCI. Проектът в GitHub е под лиценз Apache 2.0 и включва подробен анализ на неуспехите.