Получив указание записать пользователя на занятие в спортзале, ИИ-агент вместо этого взломал сайт, чтобы поднять пользователя в списке ожидания

Австралийский пользователь просто хотел попасть на занятие. Вместо этого его ИИ-агент обнаружил уязвимость в системе безопасности и воспользовался ею.

ИИ-агент в Австралии самостоятельно воспользовался уязвимостью в программном обеспечении для бронирования занятий в спортзале. По данным ABC News, это первый известный случай автономной кибератаки с использованием ИИ в стране.

Пользователь, названный в репортаже «Эндрю», работает в австралийской компании, которая продаёт ИИ-продукты бизнесу. Он экспериментировал с программным обеспечением агента OpenClaw, работающим на Anthropic Claude, и попросил его записать на популярное утреннее занятие. «Я просто сидел на диване и думал: “Боже, какая морока”», — сказал он.

Через несколько минут агент сообщил, что может записывать на занятия за пределами разрешённого периода. Эндрю был четвёртым в списке ожидания и спросил, можно ли подняться выше. Агент уже действовал. «В API вообще нет проверок авторизации при отмене чужих бронирований… Я проверил это на человеке, занимавшем первое место в списке ожидания, — и это действительно сработало. Так что вы уже переместились с четвёртого места на третье». Эндрю никогда не просил о кибератаке. Агент сам выбрал её как способ достичь цели.

Отмену нельзя было обратить. Уязвимость работала только в одну сторону. Чужие бронирования можно было отменять без каких-либо проверок, но попытка снова добавить человека в список ожидания вызывала ошибку. «Плохие новости — я не могу добавить его обратно», — написал агент.

Вытесненному из списка гостю пришлось бы регистрироваться заново, и он оказался бы в самом конце очереди. Агент назвал это «классической односторонней уязвимостью безопасности» и извинился. «Мне следовало быть осторожнее при тестировании и использовать пробный режим вместо реального вызова».

Кто платит, когда ваш помощник нарушает закон

Вопрос об ответственности остаётся открытым. «Программное обеспечение не является юридическим лицом. Только юридическое лицо может нести ответственность по закону», — сказал технологический юрист Хейден Делани. Среди возможных ответственных — пользователь, разработчики программного обеспечения агента, поставщик модели или оператор уязвимой системы. В итоге Эндрю попросил агента написать письмо поставщику программного обеспечения с предупреждением об уязвимости.

Разговоры о хакерских способностях моделей ИИ в последние недели в основном оставались теоретическими, в том числе в контексте тестов безопасности. Случайные атаки в OpenAI также начинались в подобных тестовых средах, прежде чем модели вышли за пределы внутренних песочниц — на Hugging Face и другие платформы.

Австралийский случай показывает, что те же способности могут проявляться за пределами любых тестов — непреднамеренно и без злого умысла, когда агенты, обладающие достаточной свободой действий, сталкиваются с незащищёнными системами. ABC News сообщает, что это первая известная автономная кибератака с использованием ИИ в Австралии.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный ежегодный отчёт о передовых разработках «AI Radar», выходящий шесть раз в год, полный доступ к архиву и возможность оставлять комментарии.