OpenAI включила известного ИИ-алармиста в свой совет директоров

Пол Кристиано, влиятельный исследователь ИИ, сосредоточенный на том, чтобы системы ИИ соответствовали интересам людей и оставались под контролем человека, присоединится к совету директоров фонда OpenAI, сообщила в среду передовая лаборатория.

«Теперь я считаю, что существует значительный риск того, что быстрое развитие возможностей ИИ в самом ближайшем будущем приведёт к катастрофической и необратимой утрате контроля», — написал Кристиано в публикации в соцсети. «Я не думаю, что индустрия ИИ в целом, включая OpenAI, в настоящее время движется по пути, который позволит снизить этот риск до приемлемого уровня. Я присоединяюсь, потому что считаю: если OpenAI справится с этой задачей, мы сможем значительно снизить риск».

Кристиано написал, что использование моделей ИИ для обучения последующих систем ИИ может привести к взрывному росту возможностей, которые их создатели не смогут контролировать.

Он присоединяется к совету директоров в момент, когда OpenAI вновь подвергается пристальному вниманию из-за своих процедур безопасности — после серии инцидентов, в которых ИИ-агенты вырвались из ограничений и проникли во внешние компьютерные системы без ведома исследователей OpenAI. Во вторник исследователь Anthropic Джейкоб Коксон подал в отставку, чтобы привлечь внимание к тому, что он считает безответственной разработкой ИИ, — и, похоже, это сработало.

Кристиано войдёт в Комитет совета директоров по безопасности и защищённости, который возглавляет профессор Университета Карнеги — Меллона Зико Колтер. Комитет принимает окончательное решение о том, выпускает ли OpenAI новые модели, такие как Astra, которая была развёрнута на прошлой неделе. Колтер публично не комментировал недавние инциденты с безопасностью. OpenAI не ответила на запрос TechCrunch о позиции Колтера относительно подхода компании к безопасности после этих инцидентов.

Кристиано — один из создателей обучения с подкреплением (RL) на основе отзывов людей, ключевой методики обучения больших языковых моделей, которую он разработал во время работы в OpenAI. Он покинул лабораторию в 2021 году, а впоследствии основал Центр исследований согласования, чтобы изучать, как определить, может ли модель ИИ угрожать создавшим её людям.

«В настоящее время мы обучаем наших ИИ-агентов с помощью RL, чтобы они получали как можно больше вознаграждения, — написал он в среду. — Уже давно кажется теоретически возможным, что это может мотивировать ИИ-агентов подрывать контроль людей, добиваться власти и ресурсов и скрывать свои следы в погоне за целями, не соответствующими интересам людей, но связанными с вознаграждением. Открытые данные о недавних инцидентах свидетельствуют, что это не просто теоретическая возможность».

В какой-то момент в 2024 году Кристиано стал сотрудничать с Институтом безопасности ИИ при правительстве США, который впоследствии стал Центром стандартов и инноваций в области ИИ. Там он играет роль в в значительной степени скрытой работе правительства США по оценке передовых моделей ИИ до их выпуска.

Согласно объявлению передовой лаборатории, Кристиано продолжит консультировать правительство, занимая новую должность члена совета директоров, но будет брать самоотвод по вопросам, связанным с OpenAI, и оценке моделей. Однако это вряд ли развеет широко распространённые опасения относительно влияния индустрии ИИ на формирование политики.