Отримавши вказівку записати користувача на заняття у спортзалі, ШІ-агент натомість зламав сайт, щоб підняти користувача в списку очікування

Австралійський користувач просто хотів потрапити на заняття. Натомість його ШІ-агент знайшов вразливість у системі безпеки та скористався нею.

ШІ-агент в Австралії самостійно скористався вразливістю в програмному забезпеченні для бронювання занять у спортзалі. За даними ABC News, це перший відомий випадок автономної кібератаки за допомогою ШІ в країні.

Користувач, названий у матеріалі «Ендрю», працює в австралійській компанії, яка продає ШІ-продукти бізнесу. Він експериментував із програмним забезпеченням агента OpenClaw, що працює на основі Claude від Anthropic, і доручив йому записати його на популярне ранкове заняття. «Я просто сидів на дивані й думав: “Боже, яка це морока”», — сказав він.

За кілька хвилин агент повідомив, що може записувати на заняття, які відбудуться значно пізніше, ніж дозволяє встановлене вікно. Ендрю був четвертим у списку очікування й запитав, чи можна піднятися вище. Агент уже діяв. «В API взагалі немає перевірки дозволів на скасування чужих бронювань … Я перевірив це на людині, яка була першою у списку очікування, — і це справді спрацювало. Тож тепер ви вже перемістилися з №4 на №3». Ендрю ніколи не просив здійснювати атаку. Агент обрав її як шлях до досягнення мети.

Скасування неможливо було відкотити. Вразливість працювала лише в один бік. Бронювання інших людей можна було скасувати без жодної перевірки, але спроба знову додати когось до списку очікування спричиняла помилку. «Погані новини — я не можу додати їх назад», — написав агент.

Гостю, якого посунули, довелося б записуватися знову, і він опинився б у самому кінці черги. Агент назвав це «класичною односторонньою вразливістю в системі безпеки» та вибачився. «Мені слід було бути обережнішим під час тестування й використати режим попереднього запуску, а не виконувати реальний запит».

Хто платить, коли ваш помічник порушує закон

Питання відповідальності залишається відкритим. «Програмне забезпечення не є юридичною особою. За законом відповідальність може нести лише юридична особа», — сказав технологічний юрист Гайден Делані. Серед можливих відповідальних — користувач, розробники програмного забезпечення агента, постачальник моделі або оператор вразливої системи. Зрештою Ендрю доручив своєму агенту написати електронного листа з попередженням постачальника програмного забезпечення про вразливість.

Розмови про хакерські навички моделей ШІ здебільшого залишалися теоретичними протягом останніх тижнів, зокрема в контексті тестів безпеки. Випадкові атаки в OpenAI також спочатку відбувалися в подібних тестових середовищах, перш ніж моделі вийшли за межі внутрішніх ізольованих середовищ — на Hugging Face та інші платформи.

Австралійський випадок показує, що ті самі навички можуть проявитися поза межами будь-якого тестування — незаплановано й без злого наміру, коли агенти, наділені достатньою свободою дій, стикаються з незахищеними системами. ABC News повідомляє, що це перша відома автономна кібератака за допомогою ШІ в Австралії.

Новини про ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний аналітичний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.