Кризата с безопасността в OpenAI продължава да се задълбочава, а компанията я влошава още повече

OpenAI продължава да проваля опитите си да се справи с кризата на доверието около своите непредсказуеми AI агенти.

Още през май 2024 г. ръководителят на OpenAI по супербезопасността на AI Ян Лайке прекъсна отношенията си с компанията, когато публично разкритикува бившия си работодател и премина в Anthropic. Културата и процесите за безопасност изоставаха от „лъскавите продукти“ на OpenAI, заяви Лайке.

Оттогава OpenAI не успява да си поеме въздух, преминавайки от един инцидент към следващия. Последният беше атаката срещу Hugging Face, която сякаш потвърди всички страхове, оправда критиците и, както вече знаем, се простираше далеч отвъд Hugging Face.

Изследовател е предупреждавал месеци наред, че надзорът отслабва

Уволнението на трима изследователи по безопасността, свързани с инцидента, влоши нещата. В отворено писмо до Комитета за безопасност и сигурност на OpenAI, Консултативната група по безопасността и Консултативния съвет по мисията тримата предупреждават, че уволненията им плашат останалите служители.

Уволненията бяха внезапни и публични и разпространиха страх сред екипа. „Ако поведение, което миналия месец се е смятало за нормално, сега представлява основание за внезапно уволнение, всеки в OpenAI остава да гадае къде е границата“, се казва в писмото.

Томек Корбак, един от тримата, описа уволнението си в X. Той бил повикан на среща с ръководителя на отдела по безопасност, където му казали, че OpenAI вече не му има доверие. Служител по сигурността взел баджа му и го извел от сградата. След това разбрал, че колегите му Джасмин Уанг и Микита Балесни също са били уволнени.

Корбак и Балесни са участвали пряко в разследването на атаката срещу Hugging Face. Корбак е бил основният технически контакт на OpenAI с METR — външната лаборатория за безопасност, която е изследвала инцидента. Балесни паралелно е работил по ангажименти в цялата индустрия за възможността за наблюдение на AI моделите. Изглежда, че Уанг е била уволнена по друга причина: тя е имала делегиран достъп до входящата поща на ръководител за целите на подбор на кадри, а IT отделът не го е премахнал, въпреки че тя е поискала това. Когато случайно отворила поверителен имейл, тя го съобщила в рамките на минути.

Корбак казва, че устно му било съобщено, че е уволнен заради начина, по който е комуникирал с METR. Никой не му казал какво точно е направил погрешно и нищо не било оформено писмено. „За да сме наясно, разговорите с METR бяха част от работата ми“, пише Корбак в X.

Корбак казва, че от месеци е повдигал вътрешно въпроси, свързани с безопасността, и се е тревожел, че OpenAI губи способността да следи какво „мислят“ AI агентите. Тази възможност за наблюдение на веригата от мисли е един от малкото надеждни инструменти за откриване на неправилно поведение на AI системите. Той смята, че това е истинската причина да бъде уволнен.

Изследователите казват, че слуховете са неверни

Тримата отричат да са източникът на изтичането на информация към The Information за предполагаемо нови архитектури, които са по-трудни за наблюдение. Статията всъщност е навредила на собствената им работа, пишат те, тъй като е подкопала текущите усилия за установяване на ограничения в цялата индустрия върху архитектурите, които не могат да бъдат наблюдавани.

Разследването на инцидента с Hugging Face е било безпрецедентно, се казва в писмото. Вътрешните насоки са били изготвяни в реално време, Корбак е следвал действащите тогава норми, а Балесни е работил с участието на членове на борда и висшето ръководство, като е премахвал чувствителните подробности от материалите, преди да ги споделя.

Що се отнася до слуховете за меморандум на ниво борд, тримата казват, че основното предположение е погрешно. Темата никога не е била повдигана пред тях и те никога не са получили възможност да отговорят.

Изследователите отправят три искания. OpenAI трябва да спази публичните си ангажименти да интегрира външни одитори по безопасността като METR в организацията с достъп на ниво служители. Освен това трябва да запази възможността за наблюдение на най-съвременните модели, тъй като индустрията все още не знае как безопасно да създава модели, които не могат да бъдат наблюдавани. И трябва ясно да определи как служителите могат да работят с външни групи за безопасност.

Без тези правила рискът от катастрофален резултат може да нарасне, тъй като служителите ще се страхуват да сигнализират за проблеми с безопасността. „AI не е обикновена технология, а OpenAI не е обикновена компания“, пишат те.

OpenAI отвръща на обвиненията, но остава уклончива

„Задълбочено разследване“ е установило, че тримата служители са нарушили „ясни политики за боравене с чувствителна информация“, заяви OpenAI в отговор. Вътрешната проверка е разкрила „значително нарушение на доверието, надхвърлящо описаното в публикуваното от тях писмо“, но OpenAI не казва какво точно е било това нарушение, което изглежда странно предвид колко конкретно тримата изследователи описват своята версия.

OpenAI настоява, че уволненията нямат нищо общо с повдигането на въпроси, свързани с безопасността. „Не сме уволнявали и не уволняваме нито един от служителите си заради повдигане на въпроси“, се казва в изявлението. OpenAI публикува изявлението си чрез @OpenAINewsroom — официалния акаунт с най-малка аудитория сред каналите на компанията. Компанията също потвърди, че работи по договори с външни одитори по безопасността и се съгласи, че възможността за наблюдение на най-съвременните модели изисква ангажимент в цялата индустрия.

AI новини без сензации – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен бюлетин за AI, нашия ексклузивен шест пъти годишно публикуван доклад за най-съвременните модели „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.