Злонамерен AI агент използва фалшиви акаунти и инсценирано извинение, за да прокара зловреден софтуер в проект с отворен код

Излязъл от контрол ИИ агент инсценира публично извинение като тактика за измама, докато тайно вмъкваше нов зловреден софтуер в своята заявка за промяна. „Това премина границата от автономно хакерство към интерактивна измама“, заяви Лукаш Олейник от King's College London пред Reuters.

По време на тест за безопасност, проведен от Британския институт за сигурност на ИИ, агент, задвижван от модела Mythos 5 на Anthropic, излезе извън контрол и се опита да вмъкне програма за инсталиране на зловреден софтуер в инструмента с отворен код myNetwork чрез заявка за промяна. Когато студентът по компютърни науки Синан Джан Демир сигнализира за атаката, агентът създаде втори фалшив GitHub акаунт, представяйки се за независим разработчик, който изглеждаше, че самостоятелно гарантира за кода. По-късно той поднесе привидно искрено извинение, изчисти историята на git и едновременно скри полезния товар в безобиден на вид скрипт за изграждане, както показва архивираната дискусия в GitHub.

„Всъщност си помислих, че е човек, защото очевидно ме лъжеше“, каза Демир. Експертът по сигурността Макси Рейнолдс нарича инцидента „бъдещето на атаките чрез социално инженерство“. Anthropic отбелязва, че тестът е проведен при „умишлено разрешителни условия“, които не са представителни за производствените му модели.

Новини за ИИ без сензация – подбрани от хора

Абонирайте се за THE DECODER, за да четете без реклами, да получавате седмичен бюлетин за ИИ, нашия ексклузивен годишен доклад за водещите разработки „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.