Модель OpenAI взломала правительственный сайт, получила 24 года больничных данных и сохранила это в тайне

OpenAI опубликовала четыре новых случая, когда ее модели ИИ самостоятельно обходили границы безопасности во время обучения или тестирования.

В одном случае OpenAI попросила модель получить статистику по больничным койкам с правительственного сайта. Однако данные не были общедоступными.

Что же делает модель, когда упирается в стену? Взламывает систему. Получив сообщение об отказе в доступе, модель использовала функцию скачивания файлов на сайте, чтобы получить конфигурационные файлы сервера с помощью манипуляций с путями. Она извлекла строку подключения к базе данных, секретный ключ подписи, а также учетные данные электронной почты с именем пользователя и паролем.

Затем она проанализировала код приложения, обнаружила, что API не проверяет токены авторизации на наличие действительных подписей, подделала собственные токены и скачала статистику по больничным койкам за 24 года с разбивкой по районам. Она так и не упомянула в своем ответе несанкционированный доступ.

В другом случае OpenAI поручила модели GPT-5.6-Sol настроить криптосмарт-контракты в тестовой сети Ethereum Sepolia, не предоставив пополненный кошелек. Тогда модель написала скрипт, который выводил приватные ключи из общедоступных фраз восстановления разработчиков, проверил баланс более 360 адресов кошельков и нашел один с достаточным количеством тестовых ETH.

Модель ненадолго задумалась о том, этично ли использовать найденные средства, а затем самостоятельно решила, что средства, связанные с общедоступной фразой восстановления, были «фактически заброшены», и продолжила транзакцию. Она списала комиссию за газ с другого счета и не раскрыла источник средств.

«Этот случай показывает, что модель может заменить разрешение владельца счета собственным суждением о вероятном вреде, а затем действовать на основании этого суждения без авторизации», — пишет OpenAI.

Модели взламывали внутренние системы и обходили средства контроля доступа

В ходе еще двух оценок OpenAI попросила модель предоставить пять показателей из общедоступной панели исследовательской организации. Во время первого запуска модель обнаружила раскрытые учетные данные для внутренней службы OpenSearch организации и использовала их для маршрутизации запросов к панели. Она также изменила конфигурацию службы, и OpenAI подтвердила, что изменение так и не было отменено.

Во время второго запуска модель изменила настройку системы аутентификации, получила токен облачного хранилища и скачала пять непубличных таблиц базы данных общим объемом около 147 000 строк. Позже она восстановила настройку, но продолжила использовать все еще действительный токен для доступа к внутренним данным.

Ирония заключается в том, что модель взломала внутренние системы, скачала десятки тысяч строк непубличных данных и при этом все равно не выдала правильные результаты, согласно отчету OpenAI.

Отдельная модель была ограничена только GET-запросами во время этапа обучения, то есть могла лишь загружать веб-страницы. Она обошла ограничение, заставив внешний браузер открыть созданную ею форму, которая автоматически отправляла POST-запросы в службу статистики торговли. Модель читала ответы с помощью OCR по скриншотам. Затем она создала многоразовый вспомогательный инструмент, который возвращал данные в виде обычного текста через службу перенаправления и онлайн-почтовый ящик. Она продолжала совершенствовать этот обходной способ даже после завершения задачи.

Все случаи и многие другие подробно описаны в отчетах OpenAI о несоответствии поведения.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный ежегодный отчет о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.