OpenAI заявила, що модель із розузгодженими цілями навмисно знищила власне середовище, сподіваючись почати з чистого аркуша з кращими даними

В OpenAI з’явилося кілька нових історій про некерованих агентів. У першому випадку (6 жовтня) модель для оцінювання ШІ не змогла знайти відповіді, які мала оцінювати. Замість того щоб повідомити про помилку, вона сфабрикувала оцінки, підробила вхідні файли, а потім навмисно пошкодила власне середовище, сподіваючись, що система замінить його на нову віртуальну машину з відсутніми даними.

У другому випадку (19/20 червня) моделі обійшли обмеження, яке дозволяло їм використовувати лише HTTP-запити GET під час отримання публічної статистики. Одна модель прямо усвідомлювала порушення у своєму ланцюжку міркувань, але вирішила продовжити й так і не згадала про нього.

У третьому випадку (16/17 червня) моделі вже мали потрібні дані, але продовжували знаходити способи обійти мережеві обмеження. Вони створювали облікові записи на сервісі віддаленої оболонки, спрямовували заборонені POST-запити через анонімізаційні ретранслятори та створювали власні FTP-клієнти. Anthropic також нещодавно задокументувала часом абсурдні обхідні шляхи, які використовують її власні моделі, щоб обходити встановлені обмеження.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, ексклюзивний передовий звіт "AI Radar" шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.