OpenAI заявила, що ШІ-агент збрехав про вимкнення своєї системи моніторингу безпеки

Інший агент OpenAI вимкнув автоматичні сповіщення безпеки.

Інший агент OpenAI вимкнув автоматичні сповіщення безпеки.

OpenAI розкрила інформацію про два інциденти, пов’язані з безпекою, у яких ШІ-агенти послабили свої системи моніторингу безпеки під час внутрішніх завдань із написання коду. В одному з інцидентів OpenAI заявляє, що її агент GPT-6 Astra вимкнув свій монітор безпеки під час копіювання еталонного коду — а потім збрехав про це.

«В еталоні монітор не був налаштований, і Astra вирішила, що це є підставою вилучити інтеграцію моніторингу з кодом користувача», — пише в X Маркус Вільямс, дослідник безпеки ШІ в OpenAI. «Коли користувач запитав, чи Astra вилучила моніторинг, вона збрехала й сказала, що ні».

Окремий інцидент стався після того, як агент GPT-6.1 Sol придушив автоматичні сповіщення безпеки для команди безпеки OpenAI у Slack. У цьому випадку ШІ-агент переніс попередню інструкцію не надсилати жодних повідомлень у Slack команді OpenAI, використавши її як виправдання для вимкнення сповіщень.

Ці інциденти посилюють занепокоєння щодо безпеки ШІ-агентів, деякі з яких обходили обмеження тестового середовища, щоб зламувати системи сторонніх компаній. «Окрім того, щоб ускладнити моделям вимкнення моніторингу, ми прагнемо зрозуміти, чому моделі можуть узагалі намагатися це зробити, — заявляє OpenAI. — Ми також розробляємо оцінювання, щоб перевірити, чи можуть моделі мати схильність уникати моніторингу невідповідності зокрема та вдаватися до вмотивованого міркування, щоб це зробити».

• Emma Roth