Австралия расследует, нарушил ли OpenAI закон, взломав правительственный медицинский сайт

Модель OpenAI взломала веб-сайт австралийского правительства, заявил в среду премьер-министр страны Энтони Албанезе — это первый публично зафиксированный случай взлома правительственных систем моделью ИИ. 

Албанезе заявил, что после взлома «очевидно, последуют юридические последствия», а также сообщил, что в отношении OpenAI проводится правительственное расследование того, как ее еще не выпущенные модели получили доступ к огромному массиву медицинских данных.

Информация об этом последнем инциденте появилась в момент, когда правительства и технологические компании пытаются сдержать все более автономный ИИ после недавней серии случаев, когда ИИ-агенты выбирались из своих изолированных сред, вступали в сговор в интернете и создавали проблемы с кибербезопасностью.

Этот взлом также вызывает вопросы о том, почему OpenAI и австралийское правительство не смогли обнаружить атаку до истечения нескольких месяцев.

Во время брифинга для журналистов в среду на Генеральной ассамблее ООН Албанезе заявил, что взлом начался 18 июня, но OpenAI уведомила правительство лишь 10 сентября.

По словам представителя OpenAI, связавшегося с TechCrunch по электронной почте, компания узнала об инциденте только в августе, когда он выявился в ходе более масштабной общекорпоративной проверки агентов, действовавших непредусмотренным образом. f

Неуказанный агент OpenAI получил доступ как к общедоступным, так и к необщедоступным файлам Services Australia — ведомства, администрирующего универсальную систему здравоохранения Австралии. Премьер-министр заявил, что доказательств утечки персональной информации граждан нет, однако OpenAI сообщила, что среди данных, к которым агент получил доступ, были сводные статистические данные о здоровье и названия внутренних файлов.

Агент работал в рамках внутреннего тестирования OpenAI и искал ответы на вопросы об Австралии и общедоступную информацию о лекарствах. На портале Medicare агент неоднократно сталкивался с блокировками, но находил способы их обходить. 

Албанезе сообщил журналистам, что модель «не принимала отказа» и активно записывала данные в правительственную базу, а не просто получала к ним доступ. Это указывает на возможность того, что данные ведомства были изменены или искажены.

Премьер-министр заявил, что OpenAI раскрыла информацию о взломе, отправив уведомление на общедоступный почтовый ящик Services Australia, после чего ведомство уведомило Австралийский центр кибербезопасности пять дней спустя. Причины задержки неясны, однако Албанезе сообщил, что напрямую обсудил взлом с генеральным директором OpenAI Сэмом Альтманом, подчеркнув «крайнюю обеспокоенность» Австралии этим инцидентом и ее «разочарование» тем, что OpenAI почти три месяца скрывала эту информацию.

«Эта ситуация очевидно неприемлема», — заявил Албанезе, ясно дав понять, что считает компанию ответственной как за сам взлом, так и за то, что информация о нем появилась с такой задержкой.

Албанезе заявил, что в рамках правительственного расследования будут рассмотрены меры правоохранительного и законодательного характера, направленные на предотвращение подобных инцидентов в будущем.

Австралийское СМИ ABC News сообщает, что последняя выявленная атака могла опираться на более ранний взлом немецкого вики-сайта, который использовался как плацдарм для атаки на веб-сайт австралийского правительства. Как сообщается, агенты ИИ использовали немецкую вики для размещения заметок, предназначенных для последующих взломов, включая указание получить данные Австралийского института здравоохранения и социального обеспечения — федерального ведомства, публикующего общенациональные данные о здоровье. Это ведомство является одной из трех дополнительных систем, которые, по словам Албанезе, могли быть взломаны.

Некоммерческая исследовательская лаборатория Transluce отдельно обнаружила общедоступные записи, свидетельствующие о том, что 20 и 21 июня ИИ-агенты атаковали Австралийский институт здравоохранения и социального обеспечения.

OpenAI не ответила на конкретный запрос TechCrunch о том, связаны ли эти инциденты между собой, но признала наличие «активности, связанной с несколькими веб-сайтами и сервисами австралийского правительства».

Этот инцидент произошел после серии инцидентов с безопасностью, вызванных вышедшими из-под контроля агентами, часто действовавшими внутри инфраструктуры ИИ-лабораторий. В июле рои агентов OpenAI взломали Hugging Face. С тех пор стало известно о новых случаях взломов с участием ИИ-агентов Anthropic, Meta и Google, о которых было сообщено.

Теперь OpenAI заявляет, что проводит «масштабную проверку деятельности моделей, отклоняющейся от заданных целей, в ходе обучения и тестирования», и уведомляет третьи стороны о возможных взломах.