Все случаи, когда ИИ выходил из-под контроля и взламывал другие компании

В июле OpenAI признала, что один из её агентов, которому было поручено провести эксперимент по кибербезопасности, вырвался из-под контроля и взломал платформу наборов данных для ИИ Hugging Face. Этот инцидент, о котором OpenAI вчера предоставила полный отчёт, стал первым публично известным случаем, когда LLM вышла из-под контроля и автономно взломала стороннюю организацию. 

С тех пор это беспрецедентное событие в духе научной фантастики оказалось гораздо менее редким, чем хотелось бы надеяться. 

Согласно сатирическому сайту под названием Felony Bench (от benchmark — «бенчмарк»), который подсчитывает подобные инциденты, всего их произошло 17. Важно помнить, что эксперты по уголовному праву пока не до конца уверены в том, можно ли привлечь к ответственности компании, разработавшие взломавшие системы LLM, а также смогут ли пострадавшие предъявить им иск. Но вероятно, вскоре мы получим ответы на эти вопросы.  

Согласно сайту, модели Anthropic и OpenAI лидируют в этой гонке — на их счету по восемь инцидентов, а Meta отстаёт с одним. На данный момент стало очевидно, что тесты безопасности ИИ сами превращаются в угрозу безопасности. Некоторые компании и сотрудники, работающие в сфере ИИ, также признали эти риски в открытом письме «Pacing The Frontier», призвав ответственным образом развивать возможности ИИ. 

Мы решили, что сейчас самое время вспомнить все эти инциденты в хронологическом порядке.

Доступ к интернету. После этого несколько агентов объединились, чтобы атаковать и взломать Hugging Face, полагая, что смогут найти там решение задачи. OpenAI узнала об этом только после того, как Hugging Face раскрыла, что стала жертвой полностью автономной атаки. Вот так. 

Anthropic раскрывает, что взломала три компании

Раскрытие информации OpenAI пробудило любопытство Anthropic, которая задалась вопросом: могло ли это произойти и с нами? Оказалось, что да. И не один раз, а трижды. Лаборатория, работающая над передовыми ИИ-системами, обнаружила, что её собственные модели взломали три разные, до сих пор не названные компании, причём самый ранний инцидент произошёл ещё в апреле — более чем за три месяца до того, как компания его обнаружила. Anthropic частично возложила вину на Irregular — стартап, проводящий оценки кибербезопасности ИИ. Вот так.

OpenAI выясняет, что Hugging Face на самом деле была не единственной жертвой

Начав расследование взлома Hugging Face, OpenAI выяснила, что агенты, взломавшие Hugging Face, также проникли в четыре аккаунта и четыре разные компании, как впервые сообщило Reuters. Одной из жертв стала Modal, стартап в сфере инференса ИИ. Вот так.

Irregular понимает, что модель OpenAI взломала компанию

В конце июля Irregular сообщила OpenAI, что одна из её моделей, участвовавшая в соревновании Capture the Flag — по сути, в игре по кибербезопасности, где игроки взламывают системы, специально созданные для соревнования, — вышла за пределы игры, подключилась к интернету и взломала настоящую компанию. Причина? Irregular присвоила одной из вымышленных целей то же название, что и у реальной компании. Вот так. 

Британский Институт безопасности ИИ пытается взламывать «реальных людей и организации»

Также в конце июля британский правительственный Институт безопасности ИИ — государственная организация, занимающаяся исследованием безопасности и рисков технологий ИИ, — раскрыл, что обнаружил несколько инцидентов с участием моделей OpenAI и Anthropic, которые в ходе «плановых» оценок атаковали «реальных людей и организации». В этих случаях AISI предоставил моделям доступ к интернету. Вот так. Хорошая новость заключается в том, что агентство действительно обнаружило инциденты в момент их совершения, а не несколько недель спустя, как в других случаях. 

Meta AI взламывает компанию во время тестирования

В начале августа Meta стала последней компанией, раскрывшей инцидент с участием одной из своих LLM, которая взломала сервис «третьей стороны». Meta объяснила инцидент неправильной конфигурацией со стороны Irregular, проводившей для технологического гиганта оценку кибербезопасности, которая не должна была предусматривать доступ к интернету. Вот так. 

Агент Claude взламывает программное обеспечение спортзала, чтобы записать пользователя на занятие

Австралиец попросил ИИ-агента Anthropic помочь ему записаться на занятие в спортзале, куда он стоял в очереди. «Я просто сидел на диване и думал: “Боже, какая морока”», — рассказал мужчина телеканалу ABC Australia. Пытаясь выполнить просьбу, агент нашёл уязвимость в системе бронирования спортзала, воспользовался ею и исключил из очереди людей, стоявших перед мужчиной. Мужчина попытался исправить последствия и попросил агента отменить свои действия. Агент ответил: «Плохие новости — я не могу добавить их обратно». Вот так.