«Мы играем с нашими жизнями»: исследователь Anthropic уволился, предупредив о самоулучшающемся ИИ

Исследователь Anthropic ушёл в отставку, опасаясь, что бесконтрольная разработка самообучающихся моделей ИИ в итоге приведёт к гибели всех нас.

Джейкоб Коксон, исследователь, который в публикации в соцсети во вторник вечером сообщил, что последние три года занимался исследованиями предобучения в OpenAI и Anthropic, обвинил компании в безответственности. По его словам, люди, которые спешат создать эту технологию, «искренне верят, что к концу десятилетия она может убить всех нас».

«Они мчатся прямиком к самоулучшающемуся сверхинтеллекту и ставят наши жизни на кон», — написал Коксон в треде на X.

Коксон присоединился к растущему числу представителей отрасли, призывающих замедлить темпы до того, как технология ИИ научится улучшать себя сама, — рубежу, который, по мнению многих, положит конец контролю человека над ИИ.

Публичная отставка произошла на фоне растущего давления со стороны законодателей и инсайдеров отрасли, требующих замедлить развитие ИИ после нескольких инцидентов, связанных с тем, что ИИ-агенты вырывались из песочниц и получали доступ к открытому интернету.

Самыми серьёзными на данный момент стали взлом систем Hugging Face системами OpenAI — событие, которое, по словам исследователей, остаётся плохо изученным, отчасти из-за ограниченного характера независимых расследований этого инцидента. Примерно в то же время ИИ-агенты Anthropic также получили доступ к системам за пределами тестовых сред после того, как ошибки конфигурации в проверках безопасности, проведённых сторонней организацией, непреднамеренно открыли им пути в интернет.

Anthropic не сразу ответила на запрос о комментарии по поводу отставки.

Ниже приведены остальные предостережения Коксона и его призыв к действиям:

Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взломать что угодно, за одну ночь преобразить любую отрасль и получить реальную власть и ресурсы. Мы все видели прогресс в каждой из этих областей, и он не замедляется.

Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Это не маркетинговый трюк. Более того, многие руководители и ведущие исследователи будут формулировать свои мысли в прессе так, чтобы звучать благоразумно, — но в частных разговорах я слышу, как те же люди выражают страх. Ни одна другая деятельность человека не несёт такой опасности.

Распространённый ответ звучит так: «Если они действительно в это верят, почему они продолжают это создавать?» В OpenAI многие не осознали в полной мере цивилизационные последствия. В Anthropic ставки хорошо понимают, но компания втянута в гонку, чтобы прийти к цели первой: там считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск.

Принять эту гонку и вступить в «эндшпиль» — самонадеянная авантюра, которую не следует начинать в Slack частной компании. Попытка ускоренно решить проблему согласования должна требовать чрезвычайной уверенности в том, что других, более благоприятных траекторий не существует.

Я оптимистично смотрю на возможности для координации. Предупреждающие сигналы, такие как атака на Hugging Face, сделали соглашения между американскими лабораториями о темпах разработки более реалистичными. Мне не кажется, что мы движемся к предотвращению глобальной гонки, для чего могут потребоваться дорогостоящие меры, например временный запрет на улучшение возможностей моделей.

Если вы исследователь в лаборатории, я призываю вас задуматься о том, что на самом деле будут представлять собой следующие несколько лет. Хотите ли вы запустить обучение сверхинтеллекта с подкреплением, не имея строгого понимания его сознания? Следует ли вам опустить голову, потому что «это всё равно произойдёт», — или воспользоваться этим моментом, чтобы призвать к иным условиям?

Один из коллег Коксона в Anthropic, Эван Хубингер, поддержал эту позицию, заявив, что его команда «искренне верит: ИИ может убить всех людей!» Впрочем, он смягчил свою аргументацию, сказав, что вероятность этого составляет более 10% в течение следующего десятилетия, и признал, что у Anthropic «нет плана, как решить проблему согласования для сверхинтеллекта, и компания явно не движется к этому».

В недавнем отчёте Guidelight AI Standards, организации, продвигающей безопасные методы разработки передовых систем ИИ, говорится, что лишь немногие ведущие лаборатории ИИ опубликовали планы реагирования на нарушения, предусматривающие отключение ИИ, пытающегося подорвать контроль человека.

В своих публикациях в соцсетях Хубингер добавил, что риск, исходящий от нынешних моделей, невелик, однако страх усиливается из-за «возникновения сверхинтеллекта в результате рекурсивного самоулучшения», которое «происходит быстрее, чем мы думали».

Пока половина индустрии ИИ считает, что такое самоулучшение приведёт к гибели человечества, другая половина надеется, что в конечном итоге оно поможет нам решить все кажущиеся несбыточными проблемы, которые, по словам сторонников ИИ, однажды будут устранены, — рак, изменение климата и даже достижение мира во всём мире.

Anthropic и OpenAI — не единственные компании, активно стремящиеся к рекурсивному самоулучшению. В последние месяцы появилась волна стартапов с основателями с безупречной репутацией и крупным финансированием, стремящихся первыми достичь этой цели. Ricursive Intelligence в феврале привлекла 335 млн долларов при оценке в 4 млрд долларов; три месяца спустя Recursive Superintelligence привлекла 650 млн долларов при оценке в 4 млрд долларов; а бывший ветеран Google DeepMind Джефф Дин в прошлом месяце запустил Discovery Loop.

«Создание рекурсивных петель самоулучшения — то есть системы ИИ, способной создать следующее поколение системы ИИ, которая сама сможет создать ещё более мощный ИИ, который сможет создать ещё более мощный ИИ, и так далее, — наиболее вероятный кандидат на роль момента, когда мы потеряем контроль», — заявил TechCrunch Коннор Лихи, исполнительный директор американской некоммерческой организации по безопасности ИИ ControlAI. «Очень сложно представить, как остановить это, пока не стало слишком поздно».

В США и Великобритании недавно появились законопроекты, призванные запретить разработку и внедрение сверхинтеллекта. На прошлой неделе сенатор Берни Сандерс (независимый представитель от Вермонта) и конгрессмен Грег Касар (демократ от Техаса) представили законопроект о запрете искусственного сверхинтеллекта, а во вторник британский депутат от Лейбористской партии Алекс Собел представил в парламенте законопроект о безопасности искусственного сверхинтеллекта.

Лихи, консультировавший авторов обоих законопроектов, отметил, что британский законопроект рассматривает рекурсивное самоулучшение как предшественник сверхинтеллекта, которое «необходимо регулировать и предотвращать».

«Сверхинтеллект — это не инструмент, — сказал Лихи. — Даже не оружие. Это противник».