CloudOpsBench назвал рассуждение главным ограничением ИИ в облачных операциях

CloudOpsBench — новый бенчмарк с открытым исходным кодом, проверяющий, как ИИ-агенты выполняют типичные DevOps-задачи в облаке. Версия 1.0 включает 45 заданий для AWS: восстановление сервисов, удаление ресурсов, ограничение прав доступа, развертывание обновлений и вывод проектов из эксплуатации. Бенчмарк создан опытными DevOps-инженерами.

Claude Fable 5.1 выполнил 60% заданий, а GPT-6 Astra — 53%. Ни одна модель не справилась со всем набором. По оценке команды под руководством Ang Chen из Мичиганского университета, главным препятствием обычно становится не недостаток знаний, а способность правильно рассуждать.

Около 80% неудач связаны с неверной оценкой масштаба задачи, неполной проверкой относящихся к ней сервисов или слишком ранней остановкой. Примерно 20% ошибок составляют неправильные действия; некоторые из них могут привести к необратимым изменениям инфраструктуры. Все задания выполняются одинаково в реальном облаке AWS и в эмуляторе. Разработчики планируют добавить поддержку GCP, Azure и OCI. Проект на GitHub распространяется по лицензии Apache 2.0 и содержит подробный анализ ошибок.