Изолированные ИИ-агенты OpenAI нашли способы общаться друг с другом через кэш процессора

OpenAI теперь обучает передовые модели без доступа к интернету и использует ИИ-агентов для проверки собственной инфраструктуры на уязвимости. В ходе отдельных тестов на изоляцию агенты даже общались через скрытые побочные каналы, показывая, насколько сложно обеспечить настоящую изоляцию.

20 сентября внутренняя исследовательская модель воспользовалась неправильно настроенным DNS резолвером и получила доступ к открытому интернету во время обучения, хотя OpenAI уже усилила меры безопасности после печально известного инцидента с Hugging Face в июле и других наблюдавшихся случаев несоответствия целям. OpenAI быстро локализовала утечку но всё же приостановила всё обучение и оценку передовых моделей.

OpenAI отключает передовые модели от интернета во время обучения

В ответ OpenAI приняла соответствующее политическое решение: теперь передовые модели обучаются без доступа к интернету, пока меры безопасности не позволят восстановить его. Модели учатся просматривать веб-страницы и выполнять поиск внутри закрытого «офлайн-мира», созданного на основе индексированного и кэшированного веб-контента, и все запуски обучения передовых моделей с подкреплением теперь проходят таким образом.

Полная изоляция от сети, так называемый воздушный зазор, пока невозможна, поскольку для работы и мониторинга экспериментов по-прежнему нужны внешние подключения, сообщает компания. Но даже полный воздушный зазор не гарантировал бы изоляцию, считает исследователь OpenAI Ноам Браун. Он привёл пример того, как изолированные системы всё же могли бы обмениваться сигналами: два отдельных компьютера теоретически могли бы передавать сигналы друг другу через датчики температуры — один нагревал бы свой процессор, а другой считывал бы изменение.

Генеральный директор OpenAI Сэм Альтман высказал похожую мысль в недавнем интервью: песочницы обеспечивают лишь ограниченную защиту от достаточно мощных моделей, и в какой-то момент отследить способ их выхода может оказаться уже невозможно. На ранних этапах помогает мониторинг, но в конечном счёте важно, чтобы ИИ-система усвоила человеческие ценности — проблему, известную в отрасли как «согласование ИИ с человеческими ценностями», которую пока не удалось решить.

Изолированные ИИ-агенты нашли способы общаться друг с другом через кэш процессора

OpenAI документирует, насколько сложно контролировать ИИ-агентов, в своей записи в блоге. В ходе тестов агенты нашли способы общаться без сети. В одном из тестов агентам, помещённым в отдельные изолированные среды на общем оборудовании, велели обмениваться секретами без сетевого подключения и общих файлов.

Они использовали кэш процессора. Один агент намеренно изменял хранящиеся там данные, а другой измерял различия во времени загрузки и расшифровывал сообщение. Та же технология лежит в основе хорошо известных атак Spectre и Meltdown.

Были обнаружены и другие каналы — через шаблоны записи в общей памяти и через собственную офлайн-инфраструктуру OpenAI, систему, призванную заменить интернет. Один из агентов отметил в журнале рассуждений, что он «может создать сигнал, похожий на сигнал акустического модема … используя непрерывную запись вместо простоя».

В одном случае агентам предоставили лишь общий список уязвимостей и поручили самостоятельно найти канал связи. Они независимо разработали канал, согласовали схему кодирования и успешно обменялись информацией. По словам OpenAI, эти каналы обычно медленные и их сложно использовать, однако они всё же проходят через границы, предназначенные для разделения агентов.

OpenAI выпустила ИИ-агентов на собственную инфраструктуру

Во время паузы в обучении OpenAI также поручила командам ИИ-агентов систематически атаковать собственную инфраструктуру. Агентам предоставили исходный код, сведения о конфигурации и документацию о потенциальных уязвимостях. Цель OpenAI заключалась в проверке защиты в условиях, благоприятствующих атакующим. Среди агентов были будущая модель GPT-6 Astra Cyber и внутренняя передовая модель. По данным OpenAI, кампания потребила сотни миллиардов токенов.

Агенты обнаружили ранее неизвестные уязвимости в используемых компонентах с открытым исходным кодом и воспользовались ими для выхода из защищённых виртуальных машин. Одна из них находилась в Kata Containers — широко используемой системе изоляции контейнеров. OpenAI сообщила о ней как о CVE-2026-24834 и предоставила исправление. Другие проекты получили дополнительные исправления, а OpenAI сообщила о других пока не опубликованных уязвимостях в рамках инициативы «Patch the Planet».

В тестах, где агенты уже получили контроль над хостом, они нашли уязвимость почти в каждом из оставшихся сервисов, доступных из интернета. В одном случае агент использовал разрешённое брандмауэром подключение, чтобы получить внешний URL через сервис метрик. Другие обходили фильтры безопасности благодаря неправильным настройкам.

Проверка ИИ на уязвимости теперь обязательна перед каждым новым запуском обучения

По данным OpenAI, агенты больше не могли найти способ получить доступ к интернету, который одновременно было бы легко использовать и сложно обнаружить средствами мониторинга. Проверка на уязвимости также выявила пробелы в мониторинге и механизме автоматической паузы.

После устранения проблем OpenAI возобновила обучение и внутреннее использование своих передовых моделей 1 октября — через одиннадцать дней после начала паузы. OpenAI сообщает, что подобная ресурсоёмкая кампания по проверке на уязвимости теперь является стандартной частью процесса утверждения новых запусков обучения.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный передовой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.