OpenAI включила відомого ШІ-аларміста до своєї ради директорів

Пол Крістіано, впливовий дослідник ШІ, зосереджений на тому, щоб системи ШІ відповідали інтересам людей і залишалися під людським контролем, приєднається до ради директорів Фонду OpenAI, повідомила в середу передова лабораторія.

«Тепер я вважаю, що існує значний ризик того, що стрімке прискорення розвитку можливостей ШІ в найближчому майбутньому призведе до катастрофічної та незворотної втрати контролю», — написав Крістіано в дописі в соцмережі. «Я не думаю, що індустрія ШІ загалом, зокрема OpenAI, наразі рухається до того, щоб знизити цей ризик до прийнятного рівня. Я приєднуюся, тому що вважаю: якщо OpenAI належно відреагує на цей виклик, ми зможемо суттєво зменшити ризик».

Крістіано написав, що використання моделей ШІ для навчання наступних систем ШІ може призвести до вибухового розвитку можливостей, які їхні творці не зможуть контролювати.

Він приєднується до ради на тлі нового посилення уваги до процедур безпеки OpenAI після низки інцидентів, під час яких агенти ШІ виривалися з-під обмежень і проникали до зовнішніх комп’ютерних систем без відома дослідників OpenAI. У вівторок дослідник Anthropic Джейкоб Коксон подав у відставку, щоб привернути увагу до того, що він вважає безвідповідальною розробкою ШІ, — і, схоже, це спрацювало.

Крістіано приєднається до Комітету ради з питань безпеки та захисту, який очолює професор Університету Карнегі-Меллона Зіко Колтер. Комітет має вирішальне слово щодо того, чи випускає OpenAI нові моделі, як-от Astra, яку розгорнули минулого тижня. Колтер публічно не коментував нещодавні інциденти з безпекою. OpenAI не відповіла на запит TechCrunch прокоментувати позицію Колтера щодо підходу компанії до безпеки після цих інцидентів.

Крістіано — один із розробників навчання з підкріпленням на основі зворотного зв’язку від людей (RLHF), ключової методики навчання великих мовних моделей, яку він розробив під час роботи в OpenAI. Він залишив лабораторію у 2021 році, а згодом заснував Центр досліджень узгодженості, щоб зосередитися на тому, як визначити, чи може модель ШІ становити загрозу для своїх творців-людей.

«Наразі ми навчаємо наших агентів ШІ за допомогою RL, щоб вони отримували якомога більшу винагороду, — написав він у середу. — Уже давно теоретично вважається можливим, що це може спонукати агентів ШІ підривати людський контроль, прагнути влади й ресурсів та приховувати свої сліди заради досягнення неузгоджених цілей, пов’язаних із винагородою. Загальнодоступні свідчення нещодавніх інцидентів свідчать, що це не просто теоретична можливість».

Десь у 2024 році Крістіано почав співпрацювати з Інститутом безпеки ШІ уряду США, який згодом став Центром стандартів та інновацій у сфері ШІ. Там він відіграє роль у здебільшого прихованих зусиллях уряду США з оцінювання передових моделей ШІ до їхнього випуску.

Згідно з повідомленням передової лабораторії, Крістіано продовжить консультувати уряд, виконуючи свою нову роль члена ради, але не братиме участі в питаннях, що стосуються OpenAI, та оцінюванні моделей. Однак це навряд чи розвіє широке занепокоєння щодо впливу індустрії ШІ на формування політики.