CloudOpsBench визначив міркування головною перешкодою для ШІ в хмарі

CloudOpsBench — новий бенчмарк із відкритим кодом, який перевіряє, як агенти ШІ виконують типові DevOps-завдання у хмарних середовищах. Версія 1.0 містить 45 завдань для AWS: відновлення сервісів, видалення ресурсів, обмеження прав доступу, розгортання оновлень і виведення проєктів з експлуатації. Бенчмарк створили досвідчені DevOps-інженери.

Claude Fable 5.1 виконав 60% завдань, а GPT-6 Astra — 53%. Жодна модель не завершила весь набір. Команда під керівництвом Ang Chen із Мічиганського університету дійшла висновку, що основним обмеженням зазвичай є не брак знань, а міркування.

Приблизно 80% невдач пояснюються неправильною оцінкою масштабу завдання, неперевіркою всіх пов’язаних сервісів або надто раннім припиненням роботи. Близько 20% помилок становлять неправильні дії, частина яких може спричинити незворотні зміни інфраструктури. Усі завдання однаково запускаються в реальній хмарі AWS та в емуляторі. Планується додати GCP, Azure і OCI. Проєкт на GitHub поширюється за ліцензією Apache 2.0 і містить детальний аналіз невдач.