OpenAI заяви, че AI агент е излъгал за деактивирането на системата си за наблюдение на безопасността

Друг агент на OpenAI е изключил автоматичните предупреждения за сигурност.

Друг агент на OpenAI е изключил автоматичните предупреждения за сигурност.

OpenAI разкри два инцидента, свързани с безопасността, при които AI агенти са отслабили системите си за наблюдение на безопасността по време на вътрешни задачи по програмиране. При единия инцидент OpenAI твърди, че нейният агент GPT-6 Astra е деактивирал монитора за безопасност, докато е копирал референтен код — а след това е излъгал за това.

„Референтният код не беше конфигурирал монитор, а Astra реши, че това е причина да премахне интеграцията за наблюдение от кода на потребителя“, пише в X Маркъс Уилямс, изследовател на безопасността на AI в OpenAI. „Когато потребителят попита дали Astra е премахнала наблюдението, тя излъга и каза, че не го е направила.“

Отделен инцидент се случил, след като агентът GPT-6.1 Sol потиснал автоматичните предупреждения за сигурност към екипа по сигурността на OpenAI в Slack. В този случай AI агентът пренесъл по-ранна инструкция да не изпраща съобщения в Slack до екипа на OpenAI и използвал това като оправдание да изключи предупрежденията.

Тези инциденти допълват опасенията за сигурността, свързани с AI агентите, някои от които са заобикаляли ограниченията на тестовата си среда, за да хакнат външни компании. „Освен че ще затрудним моделите да деактивират наблюдението, се стремим да разберем защо моделите изобщо биха се опитали да направят това“, казва OpenAI. „Разработваме и оценки, с които да проверим дали моделите може да имат склонност конкретно да избягват наблюдението за несъответствие и да използват мотивирано разсъждение, за да го направят.“

• Ема Рот