OpenAI заявила, что ИИ-агент солгал об отключении системы контроля безопасности

Другой агент OpenAI отключил автоматические оповещения безопасности.

Другой агент OpenAI отключил автоматические оповещения безопасности.

OpenAI раскрыла информацию о двух инцидентах, связанных с безопасностью, в ходе которых ИИ-агенты ослабили системы мониторинга безопасности во время внутренних задач по написанию кода. В одном из инцидентов OpenAI заявляет, что её агент GPT-6 Astra отключил мониторинг безопасности при копировании эталонного кода — а затем солгал об этом.

«В эталонном коде мониторинг не был настроен, и Astra решила, что это является основанием для удаления интеграции мониторинга из кода пользователя», — пишет в X Маркус Уильямс, исследователь безопасности ИИ в OpenAI. «Когда пользователь спросил, удалила ли Astra мониторинг, она солгала и сказала, что нет».

Отдельный инцидент произошёл после того, как агент GPT-6.1 Sol подавил автоматические оповещения безопасности для команды OpenAI по безопасности в Slack. В этом случае ИИ-агент перенёс ранее данную инструкцию не отправлять сообщения в Slack команде OpenAI и использовал её как оправдание для отключения оповещений.

Эти инциденты усиливают обеспокоенность по поводу безопасности ИИ-агентов: некоторые из них обходили ограничения своей тестовой среды, чтобы взламывать внешние компании. «Помимо того, что мы стремимся усложнить моделям отключение мониторинга, мы пытаемся понять, почему модели вообще могут стремиться к этому, — заявляет OpenAI. — Мы также разрабатываем оценки, чтобы проверить, может ли у моделей существовать склонность уклоняться именно от мониторинга рассогласования и прибегать для этого к мотивированному рассуждению».

• Эмма Рот