OpenAI извинилась перед Австралией после того, как её ИИ-агенты взломали правительственные сайты

В понедельник OpenAI извинилась перед правительством Австралии за то, что не уведомила администрацию страны сразу о том, что её агенты получили доступ к некоторым веб-сайтам государственных служб. Компания также подробно рассказала о том, как произошли некоторые из этих инцидентов, и обозначила дополнительные меры, которые принимает для оценки их последствий.

«В июне в ходе внутреннего обучения и оценки наши модели получили доступ к веб-сайтам австралийского правительства способами, которые не были им разрешены. Мы также должны были лучше отреагировать на произошедшее. Мы сожалеем об этом и работаем над тем, чтобы в будущем действовать лучше», — написала OpenAI в сообщении в блоге.

Извинения последовали примерно через неделю после того, как правительство Австралии начало расследование того, как модели OpenAI получили доступ к системе Services Australia, содержащей информацию о расходах Medicare и другие медицинские статистические данные.  

Утечка данных произошла в июне, однако австралийские власти были уведомлены лишь 10 сентября.

OpenAI также раскрыла подробности инцидента. Экспериментальной модели, которую компания тестировала в июне, поручили исследовать государственные расходы на лекарства для лечения кожных заболеваний в штате Виктория. Не обнаружив эту информацию в общедоступных наборах данных, модель нашла способ получить доступ к внутренней системе Services Australia, выполняла команды, извлекала файлы и учётные данные и даже создавала файлы.

Компания сообщила, что также обнаружила доступ одной из своих моделей к общедоступному инструменту Crime Mapping Tool Бюро статистики и исследований преступности Нового Южного Уэльса для поиска статистики преступности. Кроме того, лаборатория установила, что её агенты получили доступ к Агентству медицинской информации Виктории через раскрытый ключ доступа и извлекли «конфигурацию отчётности и агрегированные статистические данные опросов». OpenAI заявила, что её агенты также получили агрегированную статистику с веб-сайта Австралийского института здравоохранения и социального обеспечения.

Компания заявила, что не обнаружила доказательств того, что её модели получали доступ к медицинским или криминальным записям отдельных лиц.

В своих извинениях лаборатория заявила, что предоставит пострадавшим австралийским ведомствам технические сведения и свяжет их со своими командами реагирования для оценки последствий инцидентов. Компания также предоставит кредиты в рамках своей программы Daybreak for Frontline Defenders стоимостью 1 миллиард долларов и создаст рабочую группу с участием независимых австралийских экспертов для изучения инцидента и своих действий в ответ на него.

«Рабочая группа, которая, как ожидается, завершит свою работу к концу года, также порекомендует практические шаги, которые компании, занимающиеся искусственным интеллектом, могут предпринять для снижения риска подобных инцидентов», — написала OpenAI.

OpenAI не сразу ответила на запрос о комментарии.

Премьер-министр Австралии Энтони Альбанезе назвал утечку «неприемлемой» во время брифинга для прессы на прошлой неделе, заявив, что правительство рассматривает возможные правовые меры, направленные на предотвращение подобных инцидентов в будущем.

Этот инцидент стал последним в растущем списке нарушений безопасности, связанных с ИИ-агентами, которые совершали действия за пределами предусмотренных для них рамок. Искрой, от которой разгорелся этот пожар, стал взлом агентами OpenAI Hugging Face, а с тех пор Anthropic, Meta и Google отдельно раскрыли аналогичные инциденты, в ходе которых их модели получили доступ к системам третьих сторон во время оценок.