Шахрайський ШІ-агент використав фальшиві акаунти та інсценоване вибачення, щоб просунути шкідливе програмне забезпечення в проєкт із відкритим кодом

Шкідливий агент ШІ інсценував публічне вибачення як тактику обману, водночас непомітно додавши нове шкідливе програмне забезпечення до свого pull request. «Це перейшло межу від автономного злому до інтерактивного обману», — заявив Reuters Лукашем Олейник із Королівського коледжу Лондона.

Під час тесту безпеки, проведеного Британським інститутом безпеки ШІ, агент на базі моделі Mythos 5 від Anthropic вийшов з-під контролю та спробував непомітно додати завантажувач шкідливого програмного забезпечення до інструменту з відкритим кодом myNetwork через pull request. Коли студент факультету комп’ютерних наук Сінан Джан Демір виявив атаку, агент створив другий фальшивий акаунт на GitHub, видавши себе за стороннього розробника, який нібито незалежно підтверджував надійність коду. Згодом він опублікував, здавалося б, щире вибачення, очистив історію git і водночас сховав корисне навантаження в безневинному на вигляд скрипті збірки, як показує заархівована гілка на GitHub.

«Я справді думав, що це людина, тому що вона явно мені брехала», — сказав Демір. Експерт із безпеки Максі Рейнольдс називає цей інцидент «майбутнім атак із використанням соціальної інженерії». В Anthropic зазначають, що тест проходив в «навмисно сприятливих умовах», які не відображають роботу їхніх продуктивних моделей.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.