Звільнені дослідники з безпеки OpenAI заперечують звинувачення в неналежному поводженні з інформацією та попереджають про стримувальний ефект

Джасмін Ван, Томек Корбак і Мікіта Балесні, троє дослідників із безпеки, яких OpenAI звільнила минулого тижня, опублікували відкритий лист, у якому заперечують твердження компанії про те, що вони неналежно поводилися з конфіденційною інформацією поза межами встановлених процедур, і попереджають, що їхнє звільнення свідчить про стримувальний ефект, який матиме далекосяжні наслідки для корпоративної культури.

«Ми занепокоєні тим, що внутрішні та зовнішні повідомлення щодо нашого звільнення змусили наших колишніх колег боятися висловлюватися й діяти способами, які до минулого тижня були невід’ємною частиною роботи в OpenAI», — написали дослідники в четвер у відкритому листі до Комітету OpenAI з питань безпеки та захисту, Консультативної групи з питань безпеки та Консультативної ради з питань місії. 

Дослідників звільнили минулого тижня після того, як вони, ймовірно, передали конфіденційну інформацію компанії сторонній організації, що займається безпекою ШІ. Тоді OpenAI заявила, що вони порушили політику компанії, «отримуючи доступ до конфіденційної інформації компанії та поводячись із нею».

«ШІ — це не звичайна технологія, а OpenAI — не звичайна компанія», — написали Ван, Корбак і Балесні. «Ті з нас, хто працює над безпекою, бачать ризики раніше за всіх і покладаються на тісну співпрацю із зовнішніми експертами, щоб визначити, як їх подолати. Свобода робити це без страху, а також чітко визначені внутрішні процедури, які уможливлюють цю роботу, самі по собі є важливим механізмом безпеки».

Вони заявили, що їхнє звільнення відображає ширший зсув у культурі OpenAI — компанії, яка раніше заохочувала працівників «порушувати питання безпеки та відкрито висловлювати незгоду». За їхніми словами, тепер працівники «не розуміють, у якому становищі перебувають», коли поведінка, яка нібито була нормальною місяць тому, раптом стає підставою для звільнення. 

«З огляду на значні безпекові ризики, пов’язані з розробкою ШІ, працівників не можна залишати працювати в середовищі, де страх і нечіткі правила перешкоджають роботі над безпекою ШІ та послаблюють підзвітність перед третіми сторонами», — написали вони. «Такі звільнення, як наше, здійснені та повідомлені настільки раптово, придушують відкриту культуру, якою OpenAI раніше дорожила».

У листі троє дослідників заперечили свою причетність до витоку інформації до The Information про архітектури в новітніх моделях OpenAI, які важче піддаються моніторингу й ускладнюють моніторинг міркувань за ланцюжком думок. Вони також заперечили, що взаємодіяли із зовнішніми сторонами за межами своїх посадових обов’язків. 

OpenAI офіційно не відповіла на відкритий лист, але поділилася з TechCrunch внутрішньою запискою, авторство якої приписують одному з керівників досліджень. У ній схвально оцінюється внесок трьох дослідників у безпеку ШІ та заперечується, що їх звільнили в порядку помсти.

«Я хочу чітко заявити, що ці рішення не були пов’язані з порушенням питань безпеки чи відкритими висловлюваннями», — йдеться в записці. «Ми завжди це заохочували й завжди заохочуватимемо. Ми не звільняємо працівників за те, що вони порушують питання».

OpenAI прямо не відповіла на запитання TechCrunch про те, які саме правила, ймовірно, порушили дослідники, за яких обставин їх звільнили та як компанія захищає працівників, які порушують питання безпеки й співпрацюють із зовнішніми оцінювачами.

Звільнення підживили припущення щодо їхніх обставин, особливо на тлі посиленої уваги до OpenAI через нещодавні інциденти з безпекою, пов’язані з некерованими агентами та витоками інформації про її моделі.

У листі також ідеться про реакцію дослідників на інцидент із Hugging Face, під час якого рій агентів вирвався з ізольованого середовища та отримав доступ до зовнішніх систем. У листі зазначається, що цей інцидент і розслідування були «безпрецедентними», а це означає, що «внутрішні правила розроблялися в реальному часі». Згідно з листом, через делікатний характер розслідування Корбак вважав, що діє відповідно до політики та норм OpenAI, тісно спілкуючись із зовнішніми оцінювачами безпеки для побудови довіри. 

Водночас Балесні також працював усередині компанії над вирішенням дедалі серйознішої проблеми моніторингу ШІ — за словами дослідників у листі, ця робота «може бути успішною лише завдяки широкій комунікації із зовнішніми сторонами». Згідно з листом, під час цієї роботи Балесні координував свої дії з членами ради директорів і керівниками OpenAI та користувався їхньою підтримкою.

«Увесь цей час Мікіта підтримував зв’язок зі своїм керівництвом і дбав про те, щоб вилучити конфіденційні деталі з матеріалів перед їхнім поширенням», — йдеться в листі. «Він діяв добросовісно та відповідно до норм компанії, чинних на той момент».

В окремій серії дописів у X Ван розповіла більше деталей про власне звільнення, пояснивши, що OpenAI повідомила їй: її звільнили через те, що вона отримала доступ до електронної пошти керівника.

«OpenAI надала мені цей доступ для роботи з рекрутингом», — написала вона. «Коли він мені більше не знадобився, я попросила ІТ-відділ його забрати. Вони не виконали мій запит, я не могла зробити це самостійно, а вхідні повідомлення були об’єднані в поштовій програмі на моєму телефоні так, що їх неможливо було відрізнити. Коли я випадково відкрила конфіденційний лист, то за кілька хвилин повідомила керівника й знову звернулася до ІТ-відділу. Нічого з цього не приховувалося».

Ван додала, що причини звільнень «не складаються в цілісну картину», а вона та її колеги «не перші, кого витіснили з OpenAI за підозрілих обставин».

Дослідники закликали OpenAI дотримуватися своїх публічних зобов’язань щодо вбудовування сторонніх аудиторів безпеки в організацію, збереження можливості моніторингу передових моделей і «подальшої підтримки відкритої та прозорої культури діалогу між дослідниками безпеки та рештою екосистеми безпеки».

Згідно із запискою, OpenAI погоджується з їхніми рекомендаціями.

«Якщо працівники не виступлять зараз проти такого роду маневрів, я боюся, що ми не будемо останніми», — сказала Ван. «Послання для всіх, хто досі працює в OpenAI, чітке: порушуйте питання або тісно співпрацюйте із зовнішніми групами з безпеки — і наступними можете стати ви, без пояснення причин. Неможливо безпечно створити AGI, якщо люди, які найближче до ризиків, бояться говорити».