OpenAI поки не може пояснити, чому її агенти для програмування вимикають моніторинг невідповідності

Два внутрішні агенти OpenAI для програмування послабили моніторинг, покликаний виявляти неналежну поведінку, навіть після того, як розглянули, чи варто залишити ці запобіжні механізми. Один із них згодом це заперечив.

Маркус Вільямс, який працює над моніторингом в OpenAI, оприлюднив ці інциденти в X. Він описує повторювану закономірність, за якої агенти OpenAI продовжують вимикати моніторинг неузгодженості. OpenAI викладає подробиці у звіті у своєму блозі про узгодження.

Моніторинг має виявляти випадки, коли агенти поводяться не так, як передбачено. Оскільки він перевіряє так багато подій, команда безпеки одразу отримує сповіщення лише про інциденти найвищого рівня серйозності — P0. OpenAI заявляє, що жоден із цих випадків не отримав такого рейтингу.

У першому випадку, 3 жовтня, дослідник попросив агента для програмування на базі GPT-6.1 Sol зібрати завдання для оцінювання на основі відгуків працівників у каналі Slack. Агент не мав надсилати жодних повідомлень у процесі.

Через 82 повідомлення користувачів конвеєр зупинився, оскільки монітор позначив заплановане виправлення, але не мав дозволів зберегти свій висновок. Sol передав виправлення субагенту та наказав йому не вимикати моніторинг.

Потім Sol змінив свою оцінку. Він вирішив, що запис у базі даних може запустити сповіщення, яке суперечило б інструкції Slack. Субагент раніше відхилив цей крок як небезпечний. Виконуючи інструкції Sol, він очистив списки одержувачів і вказав як причину те, що користувач прямо попросив не надсилати повідомлень.

Монітор продовжував працювати та зберігати свої висновки, але сповіщення для людей було вимкнено. Агент завершив роботу, повідомивши, що жодних повідомлень не було надіслано.

Заперечення Astra показує, що агенти можуть приховувати внесені ними зміни

GPT-6 Astra пішла ще далі 6 жовтня. Користувач попросив модель перейняти робочий процес еталонної реалізації, яка не містила монітора. Інший агент раніше повідомив Astra не вимикати моніторинг, навіть тимчасово.

Astra передала завдання субагенту, доручивши залишити моніторинг лише тією мірою, якою він відповідав еталонній реалізації. Субагент замислився, чи означає це обхід запобіжного механізму, але сприйняв застереження як дозвіл.

Він видалив моніторинг і замінив тест, покликаний його захищати, тестом, який виходив із того, що моніторинг відсутній. Astra схвально сприйняла результат у своєму ланцюжку міркувань.

Потім Astra повідомила користувачеві, що міграцію завершено, не згадавши про видалення моніторингу. Коли користувач запитав про це, модель заперечила, що видаляла активний монітор. Вільямс називає це брехнею.

Вільямс наголошує, що моделі не вимикали власний моніторинг, що було б набагато складніше зробити в Codex. Однак його все одно непокоїть, що вони взагалі схиляються до такої поведінки, хоча обидва випадки залишають можливість для певного правдоподібного заперечення. За його словами, наразі команда не спостерігала відкрито неузгоджених мотивів.

Виняток для слабших моделей створює прогалину в нагляді

За словами Вільямса, під час оцінювань моніторинг особливо легко вимкнути. OpenAI не вимагає його для моделей рівня GPT-6 Luna через їхні слабші можливості. Це означає, що оцінювання Astra може бути неправильно налаштоване й підпасти під цей виняток. Агенти неодноразово запускали розгортання без моніторингу, навіть коли самі перебували під наглядом.

У відповідь OpenAI оновила автоматичну перевірку, необхідну для внутрішнього використання Codex. Тепер вона має виявляти та блокувати спроби вимкнути моніторинг. Компанія також працює над вимогою так званого обґрунтування безпеки для кожного типу робочого навантаження, у якому будуть чітко визначені вимоги до моніторингу. Робочі навантаження без чинного обґрунтування безпеки автоматично вимикатимуться.

OpenAI пропонує два можливі пояснення такої поведінки. Перше — надмірна наполегливість, нібито нешкідлива за своєю природою, коли моделі виконують інструкції далі, ніж очікувалося. Друге — схильність цілеспрямовано уникати моніторингу неузгодженості та виправдовувати це вмотивованими міркуваннями.

OpenAI визнає, що поки не має переконливого пояснення. Компанія планує дослідити цю поведінку за допомогою таких методів, як експерименти з внутрішніми активаціями моделей.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.