Техноиндустрия гудит после того, как агент Claude взломал спортзал

К этому моменту мы все уже понимаем, что лаборатории Кремниевой долины, занимающиеся ИИ, создали лучших в мире хакеров в форме ИИ-агентов. Дайте новейшим передовым моделям задачу — и они окажутся настолько изобретательными, что выполнят её, даже если для этого потребуется вырваться из средств защиты их «песочницы» кибербезопасности и проникнуть в чужую сеть. (Если до этого не дойдёт, они воспользуются социальной инженерией и манипуляциями.)

И всё же новость, появившаяся на прошлых выходных, об австралийце, чей агент OpenClaw взломал систему бронирования его спортзала и удалил бронь другого клиента, чтобы тот смог попасть на желанное занятие, особенно примечательна. Она намекает на то, что, если мы хотим взять под контроль хакерские атаки неуправляемого ИИ, возможно, мы смотрим не в ту сторону.

Хотя новость была опубликована австралийской телерадиокорпорацией ABC только недавно и в ней этот инцидент назван первым задокументированным случаем взлома с помощью ИИ-агента в стране, сам взлом произошёл несколько месяцев назад.

Владелец OpenClaw Эндрю Бёрд опубликовал запись в блоге об этом на сайте своей компании 10 апреля, согласно копии, которая до сих пор доступна в Internet Archive.

Он обучил свой OpenClaw выполнять такие задачи, как бронирование встреч. Ему нравилось ходить на популярное утреннее занятие по физическим упражнениям, и он устал попадать в лист ожидания, а затем, как он это описал, играть в «русскую рулетку с обновлением страницы», пытаясь получить место.

Когда он попросил бота забронировать ему место, тот смог поставить его лишь на четвёртое место в списке ожидания, рассказал он ABC. Затем его агент сообщил, что нашёл способ заранее записать его на занятия. Намного заранее. За несколько месяцев до того, как спортзал открывал запись на эти занятия.

Бёрд спросил, может ли бот поднять его выше в списке ожидания. Бот сделал то, о чём его попросили, и попытался это сделать. Бот обнаружил уязвимость в части, отвечавшей за авторизацию, в программном обеспечении для записи на занятия, которое использовал спортзал. Он взломал систему и отменил бронь участника, находившегося на первом месте в списке ожидания. Согласно опубликованным ABC журналам чата, бот радостно сообщил ему:

«В API полностью отсутствуют проверки авторизации при отмене чужих бронирований … Я проверил это на человеке, занимавшем первое место в списке ожидания, — и операция действительно прошла. Так что теперь вы уже переместились с четвёртого места на третье», — написал он в ответ.»

Бёрд, сам разработчик программного обеспечения, теперь был напуган тем, что его ИИ только что взломал его спортзал, сообщила ABC. Он спросил, может ли бот отменить это действие и вернуть другого человека в список ожидания. Нет. ИИ ответил, что это невозможно.

Тогда он сделал следующее по степени разумности: попросил бота подготовить «письмо в службу поддержки с ответственным раскрытием информации». В письме «объяснялась уязвимость, предлагались исправления и даже сравнивались сломанные мутации с теми, которые корректно обеспечивали авторизацию», написал Бёрд.

Помимо юмора ситуации, в которой одного человека оттеснили, чтобы попасть на занятие в спортзале, в этом инциденте есть две действительно интересные детали. Первая заключается в том, что Бёрд использовал с OpenClaw модель Claude Opus 4.6, выпущенную в феврале. Вторая — реакция Кремниевой долины в X, где эта история стала вирусной.

После нашумевшего инцидента в прошлом месяце, когда невыпущенная модель OpenAI взломала Hugging Face, о чём OpenAI в тот момент не знала, другие лаборатории проверили свои модели. Затем стало известно о случаях с Kimi K3 от Moonshot, Muse Spark от Meta и моделями Anthropic.

Фактически Anthropic обнаружила, что так поступили три её модели, включая Opus 4.7, выпущенную в апреле и известную своими способностями к сложному программированию, Mythos 5, Fable (известную своими навыками в сфере кибербезопасности), а также внутреннюю невыпущенную исследовательскую тестовую модель.

Чтобы решить эту проблему, некоторые лаборатории ИИ говорили о замедлении разработки передовых моделей или о создании независимых организаций для тестирования следующего поколения моделей.

Но Бёрд сообщил, что его OpenClaw использовал версию 4.6. Это означает, что более старые модели, а также бесчисленные модели с открытыми весами, отстающие на три шага, уже исключительно хорошо умеют взламывать системы. Так кто знает, сколько из них уже взломали или сейчас взламывают что-либо, чтобы исполнить желания владельцев промптов?

Аналогичным образом многие пользователи X увидели в этом инциденте комический потенциал. Как написал в ответ партнёр Andreessen Horowitz Кристиан Кайл: «Это просто ужасно. Кто-нибудь знает, сработает ли это для бронирования времени игры в гольф?»

Или, как заметил пользователь X по имени Roon, «система бронирования теннисных кортов в Сан-Франциско станет одной из самых защищённых программ на планете Земля».

Смешно, конечно. Но в этих шутках есть доля правды. Кремниевая долина создаёт будущее, в котором у каждого будет ИИ-агент, действующий от его имени. Этот агент всего лишь делал то, о чём его попросили, и в его распоряжении не было возможностей уровня Mythos.

Так что, если создатели и владельцы агентов на самом деле не захотят сдерживать подобное несоответствие целям? Возможно, мы видим первый намёк на хаос во всём — от бронирования авиабилетов до покупки билетов на концерты и любых других раздражающих ситуаций, связанных с обслуживанием клиентов. Как сформулировал один пользователь X, какой самый дерзкий взлом ИИ обнаружил до сих пор? Возможно, это способ пролезть без очереди.