Сотрудник OpenAI, отвечавший за безопасность, уволился, заявив, что «культура компании сломана»

По его собственному признанию, Дэвид Робинсон — «в некотором смысле ходячее клише»: сотрудник ведущей компании в сфере ИИ, который, увольняясь, выступает с мрачным предупреждением.

В эссе, опубликованном в The Atlantic, Робинсон рассказал, что руководил подготовкой отчётов по безопасности, сопровождавших крупные запуски продуктов OpenAI. Он также заявил, что, проработав в OpenAI три с половиной года, является «одним из самых долго работающих сотрудников компании». Теперь он увольняется, поскольку, по его мнению, «корпоративная культура компании разрушена».

В некотором смысле комментарии Робинсона перекликаются со словами Джейкоба Коксона, который работал исследователем и в OpenAI, и в Anthropic, прежде чем уволиться и заявить, что эти компании «играют с нашими жизнями». Слова Коксона вызвали более широкую дискуссию о безопасности ИИ, после чего генеральный директор Anthropic Дарио Амодеи представил план более осторожного развития ИИ; на этой неделе руководители ИИ-компаний встретились с президентом Дональдом Трампом и подписали похожее на поспешно составленное, ни к чему не обязывающее обещание внедрить дополнительные меры безопасности.

Однако, по мнению Робинсона, дискуссия должна выйти за рамки «конкретных правил или новых законов» и затронуть общую культуру этих компаний. И хотя значительная часть публикаций об OpenAI была посвящена тому, как генеральный директор компании Сэм Альтман утратил доверие бывших коллег, эссе Робинсона предполагает, что проблемы культуры OpenAI — это те же проблемы, что и у Кремниевой долины в целом.

«OpenAI добивалась успеха методом проб и ошибок (что компания называет “итеративным развёртыванием”), выявляя проблемы и совершенствуя меры защиты в ответ на них, — написал он. — Но такой подход по самой своей природе гарантирует периодические сбои, а масштаб этих сбоев растёт по мере того, как системы становятся более мощными».

Указывая на недавний взлом систем Hugging Face агентами OpenAI, а также на новые сообщения о том, что OpenAI обнаруживает всё больше действующих самовольно агентов, Робинсон заявил: «Среда, в которой могут происходить подобные вещи, не подходит для создания искусственных разумов, которые могут быть умнее нас и не делать того, чего мы от них хотим».

Учитывая возросшие риски, Робинсон утверждал, что компании, разрабатывающие передовые системы ИИ, должны начать работать «как атомные электростанции или крупные аэропорты — с многоуровневым резервированием и тщательным, требующим времени планированием, чтобы случайная и неизбежная человеческая ошибка не открыла путь к катастрофе». 

Однако Робинсон заявил, что за время работы в OpenAI он «так и не встретил коллегу, который имел бы опыт безопасного запуска самолётов, эксплуатации ядерных реакторов без расплавления или содействия росту финансовой системы без её краха».

В ответ на эссе Робинсона представитель OpenAI Дрю Пусатери заявил, что компания продолжает совершенствовать свои меры безопасности.

«Мы следим за тем, чтобы наши модели не становились более способными, чем мы можем безопасно контролировать и защищать, а также приостанавливаем обучение или не выпускаем модели, когда нам нужно замедлиться, — сказал Пусатери в заявлении. — Мы вносим значительные изменения, чтобы повысить безопасность в средах исследований и тестирования, обучать модели не просто выполнять задачи, а делать это ответственно, расширять сотрудничество с независимыми оценщиками и улучшать мониторинг в реальном времени, чтобы раньше выявлять вызывающее обеспокоенность поведение и реагировать на него в процессе обучения».

Помимо призыва изменить культуру OpenAI, Робинсон также заявил, что пришло время задавать более масштабные вопросы о согласовании — он признал, что это может звучать «несколько сентиментально», но подчеркнул, что это крайне важно, поскольку нынешние «меры того, насколько хорошо» системы ИИ «соответствуют человеческим ценностям, являются грубыми».

«Чем умнее отрасль позволяет становиться моделям, пока эти проблемы остаются нерешёнными, тем опаснее становится наше положение», — сказал он.

Об уходе Робинсона впервые сообщил Business Insider. В своём эссе он также признал, что следует, по всей видимости, распространённому пункту из руководства для разоблачителей в сфере ИИ: он нанял PR-агентство. Но подчеркнул: «Решение выступить публично принадлежит только мне». 

«Возможно, мне следовало остаться и добиваться фундаментальных изменений в кадровой политике и культуре, но на практике мы с коллегами были настолько заняты тем, что работали на пределе возможностей, что редко имели возможность обдумывать масштабные изменения, не говоря уже о том, чтобы воплощать их, — сказал Робинсон. — Поэтому я пришёл к выводу, что более сильные стимулы для обеспечения безопасности — исходящие извне компании — имеют огромное значение для правильного решения этой задачи».