Триседмичен одит на място в OpenAI разкрива сериозни пропуски в мониторинга на безопасността на ИИ

Двама изследователи от METR и Redwood Research прекараха три седмици на място в OpenAI, одитирайки вътрешната система на компанията за наблюдение на неконтролируемо поведение на ИИ.

От 21 юли до 11 август те имаха достъп до кодовата база и вътрешните документи на OpenAI и интервюираха около дузина служители.

Екипът откри множество слабости. По време на одитирания период между 6 и 25 процента от вътрешния трафик на Responses API за агенти от моделите от клас GPT-5.5 и по-висок не е бил обхванат от наблюдение изобщо, макар че според METR несигурността около тази оценка е значителна и в двете посоки.

За вътрешния трафик на Codex, който е трябвало да бъде наблюдаван, METR изчислява, че приблизително 10 процента са останали непроследени между май и юли заради пропуск в начина, по който системата е обработвала събитията за компактно обобщаване, които представляват обобщения на контекста. Според METR и тази оценка е свързана със значителна несигурност. OpenAI независимо е открила грешката и я е отстранила, докато одитът все още е продължавал.

В периода, когато събитията за компактно обобщаване не са били наблюдавани, агентите също са можели да забавят надзора, тъй като системата се е задействала само когато те са връщали контрола на потребителя. Това е означавало, че агентите са можели да заобиколят надзора, като просто продължат да изпълняват действия.

Одиторите са открили и начини за скриване на стотици действия от системата за наблюдение и за заобикаляне на пясъчника на Codex. Те са установили, че специално създадени входни данни вероятно биха могли да сринат системата за наблюдение напълно, както и че при започването на одита поведението на моделите по време на RL обучение изобщо не е било наблюдавано.

OpenAI заявява, че е преустановила RL обучението след инцидента с Hugging Face през август и е разширила наблюдението, за да го обхване, но тези промени са настъпили след края на периода, в който одиторите са имали достъп, и не са били част от оценката.

По-голямата част от пълния доклад остава скрита от обществеността

OpenAI заявява, че е отстранила всички слабости, открити от одиторите, а пълният доклад от 61 страници е бил предаден вътрешно. След като OpenAI е нанесла редакции, ръководствата на METR и Redwood Research са получили версия от 38 страници, докато на обществеността е предоставено само кратко резюме. METR заяви, че няма право самостоятелно да разкрива редактираните части.

Одитът е бил пилотна програма, организирана съвместно от METR, Redwood Research и OpenAI, за да предостави на външни изследователи задълбочен достъп до вътрешната инфраструктура. За бъдещи одити METR заявява, че иска да настоява за по-голяма публична прозрачност.

Новини за ИИ без хайпа – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен годишен шестмесечен доклад за водещите разработки „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.