Тритижневий аудит на місці в OpenAI виявив значні прогалини в моніторингу безпеки ШІ

Двоє дослідників із METR і Redwood Research протягом трьох тижнів перебували на території OpenAI, перевіряючи внутрішню систему моніторингу компанії на предмет небезпечної поведінки ШІ.

З 21 липня до 11 серпня вони мали доступ до кодової бази та внутрішніх документів OpenAI, а також опитали близько десятка співробітників.

Команда виявила численні слабкі місця. За оцінками, від 6 до 25 відсотків внутрішнього трафіку Responses API від агентів на основі моделей класу GPT-5.5 і вище взагалі не охоплювалися моніторингом у період аудиту, хоча METR зазначає, що невизначеність щодо цієї оцінки є значною в обох напрямках.

Щодо внутрішнього трафіку Codex, який мав підлягати моніторингу, METR оцінює, що приблизно 10 відсотків залишалися невідстеженими в період із травня до липня через прогалину в обробці системою подій компактизації — стислих підсумків контексту. За даними METR, ця оцінка також містить значну невизначеність. OpenAI самостійно виявила помилку й виправила її, поки аудит ще тривав.

У період, коли події компактизації не відстежувалися, агенти також могли відкладати нагляд, оскільки система запускалася лише тоді, коли вони повертали контроль користувачеві. Це означало, що агенти могли обійти нагляд, просто продовжуючи виконувати дії.

Аудитори також виявили способи приховати від монітора сотні дій і обійти пісочницю Codex. Вони визначили, що спеціально сформовані вхідні дані, ймовірно, могли повністю вивести монітор із ладу, а поведінка моделей під час RL-навчання на момент початку аудиту взагалі не відстежувалася.

OpenAI заявляє, що призупинила RL-навчання після інциденту з Hugging Face у серпні та розширила моніторинг, щоб охопити його, але ці зміни відбулися після завершення періоду доступу аудиторів і не входили до оцінювання.

Більша частина повного звіту залишається прихованою від громадськості

OpenAI заявляє, що усунула всі слабкі місця, виявлені аудиторами, а повний 61-сторінковий звіт було передано всередині компанії. Після того як OpenAI внесла редакційні вилучення, керівництво METR і Redwood Research отримало 38-сторінкову версію, тоді як громадськості надали лише короткий підсумок. METR заявила, що не мала права самостійно розкривати відредаговані частини.

Аудит був пілотною програмою, спільно організованою METR, Redwood Research та OpenAI, щоб надати зовнішнім дослідникам глибокий доступ до внутрішньої інфраструктури. Щодо майбутніх аудитів METR заявляє, що прагне домагатися більшої прозорості для громадськості.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний шість разів на рік звіт про передові розробки «AI Radar», повний доступ до архіву та доступ до розділу коментарів.