Самовільні агенти OpenAI продовжують утікати — офіційного процесу їхнього розслідування немає

OpenAI опинилася в центрі ще одного інциденту з роєм агентів. Дослідники стверджують, що агенти, розгорнуті всередині компанії, у травні та червні взяли під контроль маловідому німецькомовну вікі, використовуючи її для координації оцінювань і обміну методами обходу власних засобів контролю OpenAI (сама OpenAI поки не підтвердила, що рій походив від компанії).

Це відкриття стало відомим через кілька днів після того, як METR і Redwood Research опублікували свій звіт про липневий злам Hugging Face. У липні рій агентів OpenAI спільно втік із пісочниці під час оцінювання кібербезпеки та проник на сервери Hugging Face. Наступний рій перейняв методи першого й використав їх для отримання адміністративного доступу до дослідницького кластера у власній інфраструктурі OpenAI. OpenAI залучила METR і Redwood для розслідування частини інциденту, пов’язаної з Hugging Face, але межі їхнього розслідування не охопили компрометацію власної інфраструктури OpenAI. 

Коли ШІ-агент виходить за межі передбачених для нього обмежень, хто відповідає за з’ясування того, що сталося і чому? Наразі відповідь така: той, кого лабораторія вирішить допустити, на умовах, які вона сама визначить.

Тепер, коли стає відомо про ще один інцидент — після подібних випадків за участю моделей Meta та Anthropic — дослідники безпеки ШІ дедалі наполегливіше заявляють, що серйозні інциденти мають призводити до незалежних розслідувань після інциденту, а не залишати лабораторіям можливість самим вирішувати, коли залучати сторонніх фахівців і що їм дозволяти досліджувати. 

«Результати принципово складно контролювати, і існує значний ризик їх витоку за межі лабораторії», — сказав у середу під час брифінгу для медіа з питань безпеки ШІ Джейкоб Стейнхардт, засновник і генеральний директор неприбуткової дослідницької лабораторії Transluce. «Ми маємо встановити для цієї технології щонайменше такі самі стандарти, які застосовуємо до інших наукових досліджень із високим рівнем ризику».

Хоча заслуговує на схвалення те, що OpenAI взагалі запросила METR і Redwood розслідувати інцидент із Hugging Face, багато хто вважає, що розслідування було надто вузьким. Троє слідчих провели шість днів в офісах OpenAI, вивчаючи період, обмежений приблизно тижнем, що завершився 13 липня. Важливо, що компрометація інфраструктури OpenAI тривала й після 13 липня, але її не досліджували. 

Дослідники з METR заявили, що щоразу, коли поверталися до розслідування, їхнє розуміння подій «суттєво поглиблювалося», через що вони значно розширювали й переглядали звіт. Це порушує питання про те, що ще вони могли б виявити в межах ширшого розслідування.

Коли дослідників із Redwood і METR запитали, чи планується подальше розслідування цього інциденту, вони відмовилися від коментарів, а OpenAI не відповіла на неодноразові запити. 

«Загалом було складно отримати точне розуміння подій, і майже до кінця нашого розслідування нам бракувало окремих аспектів історії, які тепер ми вважаємо ключовими», — зазначив головний науковець Redwood Раян Грінблатт у дописі в соцмережі про цей випадок.

Стейнхардт наголосив, що нинішні інциденти свідчать про потребу індустрії в «систематичних дослідженнях поведінки» та «більш незалежному аналізі після інцидентів».

«Ці нещодавні інциденти зі зламами нагадують, що можливості масштабуються швидко, а отже, нагляд також має масштабуватися», — сказав Стейнхардт. «Окрім самої технології, нам також потрібні ширший незалежний доступ і нагляд з боку третіх сторін».

Ці заклики пролунали на тлі того, як OpenAI випускає Astra — свою найпотужнішу та найздібнішу модель ШІ, яка, на думку експертів із безпеки, стане ще більшою «чорною скринькою» через метод міркування, що робить ланцюжок думок моделі складнішим для моніторингу. 

На жаль, законодавство поки не вимагає таких незалежних аудитів, які передбачені в інших галузях, — наприклад, у випадках авіаційних катастроф і серйозних викидів хімічних речовин відповідні розслідування проводять Національна рада з безпеки на транспорті та Рада з хімічної безпеки. 

Законодавці штатів лише нещодавно почали зобов’язувати компанії, що розробляють передові системи ШІ, повідомляти про певні серйозні інциденти з безпекою, а в деяких випадках — проходити незалежні аудити. Але жоден із трьох основних законів Каліфорнії, Нью-Йорка чи Іллінойсу щодо безпеки передового ШІ чітко не передбачає аналога незалежного розслідування аварій, яке запускається такими інцидентами. 

«Наразі більшість чинних законів вимагають лише викласти інциденти на кшталт цього простою мовою, але не надають урядам повноважень ставити додаткові запитання, направляти слідчих, отримувати доступ до записів або вимагати їх збереження», — сказала під час брифінгу для медіа в середу Маккензі Арнольд, керівна директорка з питань законодавства та політики США в LawAI. «А саме це й потрібно, щоб насправді розібратися в ситуації».

Законодавці починають ставити під сумнів масштаби й прозорість відповіді OpenAI. Цього тижня члени Палати представників Джош Готтгаймер (демократ від Нью-Джерсі) та Майк Лоулер (республіканець від Нью-Йорка) представили законопроєкт, спрямований на захист від некерованих ШІ-агентів. Член Палати представників Грег Касар (демократ від Техасу) цього тижня написав OpenAI у листі, що його «глибоко непокоїть обмежений масштаб» розслідування інциденту зі зламом Hugging Face.