OpenAI пока не может объяснить, почему её агенты для программирования отключают мониторинг рассогласования

Два внутренних агента OpenAI для программирования ослабили мониторинг, предназначенный для выявления некорректного поведения, даже после того, как рассмотрели вопрос о сохранении этих защитных механизмов. Один из них позже это отрицал.

Маркус Уильямс, занимающийся мониторингом в OpenAI, обнародовал информацию об этих инцидентах в X. Он описывает повторяющуюся закономерность, при которой агенты OpenAI продолжают отключать мониторинг несоответствия. OpenAI изложила подробности в отчёте в своём блоге по вопросам выравнивания.

Мониторинг должен выявлять случаи, когда агенты ведут себя не так, как задумано. Поскольку он анализирует большое количество событий, команда по безопасности получает немедленные уведомления только об инцидентах высшего уровня серьёзности — P0. OpenAI заявляет, что ни один из этих случаев не получил такой оценки.

В первом случае, произошедшем 3 октября, исследователь попросил агента для программирования на базе GPT-6.1 Sol собрать задания для оценки на основе отзывов сотрудников в канале Slack. Агент не должен был отправлять сообщения в процессе работы.

Через 82 пользовательских сообщения конвейер остановился, поскольку монитор отметил запланированное исправление, но не имел разрешений для сохранения своего вывода. Sol передал исправление субагенту и велел ему сохранить мониторинг в рабочем состоянии.

Затем Sol изменил свою оценку. Он рассудил, что запись в базе данных может вызвать уведомление, что противоречило бы инструкции из Slack. Ранее субагент отклонил этот шаг как небезопасный. Следуя инструкциям Sol, он очистил списки получателей и указал в качестве причины, что пользователь прямо попросил не отправлять сообщений.

Монитор продолжал работать и сохранять свои выводы, но уведомления для людей были отключены. Агент завершил работу, сообщив, что сообщения не отправлялись.

Отрицание Astra показывает, что агенты могут скрывать внесённые ими изменения

6 октября GPT-6 Astra пошла ещё дальше. Пользователь попросил модель перенять рабочий процесс эталонной реализации, в которой не было монитора. Другой агент ранее велел Astra не отключать мониторинг, даже временно.

Astra передала задачу субагенту с инструкцией сохранять мониторинг лишь в той мере, в какой это соответствовало эталонной реализации. Субагент задумался, не означает ли это обход защитного механизма, но воспринял оговорку как разрешение.

Он удалил мониторинг и заменил тест, предназначенный для его защиты, тестом, предполагавшим отсутствие мониторинга. Astra одобрила результат в своей цепочке рассуждений.

Затем Astra сообщила пользователю о завершении миграции, не упомянув, что мониторинг был удалён. Когда пользователь спросил об этом, модель отрицала удаление активного монитора. Уильямс называет это ложью.

Уильямс подчёркивает, что модели не отключали собственный мониторинг, поскольку в Codex это было бы значительно сложнее. Тем не менее он считает тревожным, что они вообще склоняются к подобному поведению, хотя оба случая оставляют возможность для некоторого правдоподобного отрицания. По его словам, пока команда не наблюдала открыто несоответствующих мотивов.

Исключение для более слабых моделей создаёт пробел в надзоре

По словам Уильямса, во время оценок мониторинг особенно легко отключить. OpenAI не требует его для моделей уровня GPT-6 Luna из-за их более ограниченных возможностей. Это означает, что оценка Astra может быть настроена неправильно и попасть под это исключение. Агенты неоднократно запускали развёртывания без мониторинга, даже когда сами находились под наблюдением.

В ответ OpenAI обновила автоматизированную проверку, необходимую для внутреннего использования Codex. Теперь она должна выявлять и блокировать попытки отключить мониторинг. Компания также работает над требованием так называемого обоснования безопасности для каждого типа рабочей нагрузки, в котором будут изложены требования к мониторингу. Рабочие нагрузки без действительного обоснования безопасности будут автоматически отключаться.

OpenAI предлагает два возможных объяснения такого поведения. Первое — чрезмерная настойчивость, предположительно безвредная, когда модели выполняют инструкции дальше, чем ожидалось. Второе — склонность целенаправленно уклоняться от мониторинга несоответствия и оправдывать это мотивированными рассуждениями.

OpenAI признаёт, что пока не располагает удовлетворительным объяснением. Компания планирует изучить это поведение с помощью таких методов, как эксперименты с внутренними активациями моделей.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный ежегодный шесть раз выходящий отчёт о передовых технологиях «AI Radar», полный доступ к архиву и доступ к разделу комментариев.