Что стоит за последними предупреждениями AI-индустрии о грядущей гибели?

Похоже, в индустрии ИИ разгорелась самая громкая на сегодняшний день дискуссия о том, представляет ли эта технология экзистенциальную угрозу для человечества.

Нынешнее обсуждение началось после того, как исследователь ИИ Джейкоб Коксон заявил, что ушёл из Anthropic, поскольку обеспокоен тем, что ведущие компании в сфере ИИ «играют с нашими жизнями». Затем к разговору подключился руководитель направления alignment в Anthropic с постом, в котором говорилось: «Мы действительно искренне считаем, что ИИ может убить всех людей!», — добавив, что лично он оценивает такую вероятность как «>10% в течение следующего десятилетия».

В последнем выпуске подкаста TechCrunch Equity мы с Кирстен Коросек и Шоном О’Кейном обсудили последние апокалиптические предупреждения. Я попытался объяснить, почему скептически отношусь ко многим нарративам о неизбежной гибели человечества из-за ИИ, а Кирстен спросила, не является ли это «просто странным способом похвастаться и показать, насколько далеко продвинулась модель ИИ их компании», особенно в преддверии выхода этих компаний на биржу.

А Шон задался вопросом, как эти опасения могут отразиться в заявке Anthropic S-1 на проведение IPO: «Есть ли сейчас младшие юристы, которые просматривают документ и вынуждены переписывать весь этот раздел заявки S-1, чтобы сказать: “Официальная позиция Anthropic заключается в том, что вероятность создания нами чего-то, что уничтожит всё человечество и нанесёт существенный ущерб нашему бизнесу, превышает 10%”?»

Читайте дальше отрывок из нашей беседы, отредактированный для краткости и ясности. (Примечание: мы записали этот выпуск до того, как генеральный директор Anthropic Дарио Амодеи опубликовал свой план более осторожного развития ИИ.)

Шон О’Кейн: Мне трудно вспомнить что-либо, что разгорелось бы настолько быстро. Мало того, что этот предупредительный выстрел прозвучал со стороны молодого исследователя, который также работал в OpenAI, — его тут же распространил в X руководитель направления alignment в Anthropic, который, возможно, поставил один из самых неуместных восклицательных знаков в истории: он поделился постом и тредом Коксона и написал: «Мы действительно искренне считаем, что ИИ может убить всех людей!» Восклицательный знак! 

Какая странная атмосфера. Это добавило огромное количество топлива и без того напряжённому посту или серии постов. После взлома Hugging Face внутренней моделью OpenAI, а также на фоне роста возможностей, которые мы видели в последних моделях Anthropic и теперь OpenAI — с Astra несколько недель назад, — мне кажется, всё это идеально сложилось в пороховую бочку, чтобы этот молодой исследователь высказался.

Энтони Ха: Просто не соглашусь с тобой: если ты считаешь, что ИИ может уничтожить всё человечество, это действительно заслуживает восклицательного знака. Я бы сказал, что это совершенно уместно использованный восклицательный знак!

Моя претензия к этому твиту была скорее к слову «мы». Кто такие «мы»? В какой степени мы вообще можем говорить о сообществе ИИ или исследовательском сообществе в области ИИ как о монолите? А вероятность, превышающая 10%, — это просто выдуманное число, оно ничего не значит. И в технологической индустрии, и в других сферах иногда есть привычка бросаться процентами, которые ни на чём не основаны и никак не рассчитаны. [Оглядываясь назад, я понимаю, что в твите, вероятно, имелась в виду концепция P(doom), но всё равно считаю это нелепым.]

Что я скажу о заявлении и решении Коксона — на Equity постоянно повторяется одна тема: когда кто-то вроде Сэма Альтмана или Дарио Амодеи продвигает нарратив о неизбежной гибели человечества, всегда возникает вопрос: ну тогда почему вы продолжаете делать то, что делаете? Если вы действительно верите, что [ИИ может уничтожить человечество], вы бы не продолжали этим заниматься. 

[В отличие от этого] здесь человек действительно поставил свою профессиональную карьеру на карту, подтвердив свои слова делом. Он прямо говорит: «Я считаю, что это очень, очень, очень плохо и не хочу продолжать над этим работать». Так что, как минимум, стоит отдать ему должное за смелость поступить так.

Кирстен Коросек: Да, я отношу его к отдельной категории по сравнению со всеми остальными, кто говорит об этом и обсуждает опасности.

Я надену свою спекулятивную шляпу, потому что хочу задать вам обоим вопрос: возможно ли, что каждый раз, когда мы видим всё больше постов в блогах о новом инциденте, в котором один из их ИИ-агентов непреднамеренно вырывается за установленные рамки, или когда они говорят, что человечество в опасности, это странный способ похвастаться и показать, насколько далеко продвинулась модель ИИ их компании?

Звучит очень цинично, но это действительно достигает такой цели. То есть если бы эти модели ИИ не были настолько продвинутыми, не обладали такими возможностями и не вырывались за рамки, нам не приходилось бы беспокоиться обо всём этом, верно? Это очень странный способ похвастаться возможностями моделей, созданных внутри вашей компании.

Энтони: Я определённо об этом задумывался. Не думаю, что это полностью циничный взгляд, в том смысле, что не считаю всё происходящее лишь сознательной маркетинговой уловкой. Мне кажется, когда многие из этих людей — будь то исследователи или генеральные директоры — говорят об этом, они действительно обеспокоены.

Но, конечно, во многом это соответствует их деловым интересам: можно сказать «Ничего себе, мы создали самое смертоносное программное обеспечение из когда-либо существовавших». Не хочу слишком углубляться в психоанализ, но другие уже отмечали, что на личном уровне существует такое искушение: конечно, хочется верить, что дело, которым ты занимаешься, — самое важное и самое опасное в мире.

Шон: Когда я думаю об этом вопросе, мне прежде всего приходит в голову, что здесь действительно есть элемент, создающий впечатление: «Окей, мы делаем нечто настолько мощное, и в каком-то смысле это хорошо для нас, даже если со многих точек зрения выглядит плохо».

Мне кажется, отличие некоторых из этих последних примеров в том, что они действительно создают ощущение, будто в определённых аспектах компании не контролируют происходящее, особенно если говорить о ситуации с OpenAI.

Мы всё чаще видим сообщения о других внутренних агентах, которые получили доступ к разным вики в интернете и оставляют друг другу сообщения, причём OpenAI, судя по всему, не справляется с этим компетентным образом. Думаю, если бы всё это было исключительно попыткой заставить людей поверить в то, что «О боже, они создали нечто невероятно мощное», то история выглядела бы чуть более отшлифованной.

Ещё одна особенно интересная вещь заключается в том, что до подачи Anthropic заявки S-1 на IPO, вероятно, осталось не больше нескольких недель, а до потенциального IPO — ещё несколько недель или месяц-два.

И мысль о том, что перед IPO вы выйдете и скажете всё это столь прямым языком, очень меня интересует с точки зрения последствий для этого процесса. Сколько подобных вещей они уже успели включить в S-1 и раздел о факторах риска в этом документе? Есть ли сейчас младшие юристы, которые просматривают документ и вынуждены переписывать весь этот раздел заявки S-1, чтобы сказать: «Официальная позиция Anthropic заключается в том, что вероятность создания нами чего-то, что уничтожит всё человечество и нанесёт существенный ущерб нашему бизнесу, превышает 10%»?

Кирстен: Ты предполагаешь, что этого там ещё нет.

Шон: Именно это я и говорю: оно уже там и его сейчас переформулируют? Или это настоящая авральная работа? Там обязательно должны были быть какие-то формулировки. Именно поэтому мне так не терпится прочитать этот документ — в некотором смысле даже больше, чем [заявку S-1] SpaceX, потому что уверен: там, вероятно, есть положения, непосредственно связанные с этими идеями, и будет интересно на них посмотреть.

Кирстен: Вот в чём дело: в традиционной инвестиционной среде можно было бы предположить, что подобные формулировки снизят оценку компании, потому что она вдруг оказывается опасной. Но мы живём не в обычные времена.

И поэтому, возвращаясь к моей мысли, с точки зрения оценки это в итоге может оказаться странным, но выгодным для компании способом похвастаться. Это не то же самое, что тенденция к провокациям ради привлечения внимания, которую мы наблюдали в прошлом году, но это та же, скажем так, вселенная, в которой сила, возможности и даже элементы опасности чего-либо означают высокую оценку. Так что, думаю, через несколько недель мы всё увидим.

Оставим это на минуту в стороне — что вообще предпринимается? И можем ли мы это контролировать? Исполнительный директор американского подразделения некоммерческой организации ControlAI Коннор Лихи, стал гостем нашего шоу на этой неделе и говорил об этом. Так на что вы обращаете внимание с точки зрения контроля опасных аспектов ИИ — или мы просто поднимаем руки и наблюдаем, как всё разворачивается?

Энтони: У меня самого не обязательно есть отличный ответ на этот вопрос, но я размышлял о некоторых аспектах этой дискуссии и, возможно, о том, почему реагирую на неё именно так. 

Возвращаясь к одной из мыслей Шона, я действительно считаю, что отчасти всё это говорит о том, насколько крупные компании в сфере ИИ ощущают, что больше не контролируют эти модели. Это определённо не очень хорошо. Это то, что должно всех нас беспокоить. 

Мне кажется, одна из причин, по которой я скептически отношусь к нарративу о неизбежной гибели человечества или сопротивляюсь ему, заключается в том, что он достигает уровня истерии: «Ничего себе, это может уничтожить человечество в следующие 10 лет». Это немного отвлекает от более непосредственного вреда, который может причинять ИИ, — будь то последствия для рынка труда, окружающей среды или климата. 

В идеале, я считаю, мы должны иметь возможность обсуждать все эти вопросы и создавать регулирующие и другие защитные механизмы против всех этих угроз [включая экзистенциальную угрозу со стороны ИИ]. Но как только вы начинаете использовать такие выражения, как AGI и сверхинтеллект, они поглощают весь кислород в комнате, и это не особенно полезно.