Гендиректор Anthropic изложил план по «заданию темпа развития передовых технологий»

Мы всё чаще слышим чрезвычайно тревожные предупреждения исследователей ИИ об опасностях искусственного интеллекта и даже комментарии генерального директора OpenAI Сэма Альтмана о том, что, возможно, пришло время «сбавить темп» разработки ИИ. Но как это будет выглядеть на практике?

В новой публикации в блоге генеральный директор Anthropic Дарио Амодеи не только поддержал призыв «сбавить темп на переднем крае», но и обозначил три общие стратегии, которые позволили бы это сделать. Он также заявил, что Anthropic «в одностороннем порядке берет на себя обязательство» следовать одной из них.

Дискуссия о безопасности и согласовании ИИ на этой неделе обострилась после того, как исследователь Джейкоб Коксон написал, что уходит из Anthropic, поскольку ведущие компании в области ИИ «играют с нашими жизнями», тогда как люди, создающие эту технологию, «искренне считают, что к концу десятилетия она может убить всех нас» — это утверждение повторили и другие сотрудники Anthropic.

В своей публикации Амодеи прямо не упомянул об отставке Коксона или его опасениях, однако генеральный директор написал, что два обстоятельства убедили его в необходимости более осторожного подхода к разработке ИИ: взлом OpenAI-HuggingFace и тот факт, что «ИИ в последние месяцы развивался значительно быстрее», особенно с учетом его «растущей способности создавать следующее поколение ИИ».

«Мы должны замедлить темп, с которым совершенствуются возможности моделей ИИ», — написал Амодеи. «Прогресс по-прежнему будет казаться быстрым, и мы должны мудро распорядиться выигранным временем».

Предложенный им первый шаг предполагает привлечение «встроенных оценщиков» из сторонних организаций, таких как METR, — специалистов, которые смогут проверить, действительно ли компании в области ИИ соблюдают свои обязательства по замедлению темпов и обеспечению безопасности, а также гарантировать, что инциденты, связанные с безопасностью, будут доводиться до сведения общественности. (Недавно OpenAI подверглась критике за то, что не сообщила об инциденте, в ходе которого ее ИИ-агенты захватили немецкую форму вики-сайта.) 

Амодеи сравнил этих оценщиков с регуляторами, которые работали непосредственно вместе с сотрудниками банков, и заявил, что приглашение таких специалистов — «то, что Anthropic в одностороннем порядке берет на себя (и призывает правительства обязать другие компании, работающие на переднем крае, поступить так же)». Это означает предоставление оценщикам корпоративных бейджей, рабочих мест и ноутбуков, а также доступа, «в основном сопоставимого с доступом внутренних команд по оценке рисков», за исключением случаев, когда ограничения требуются законом или контрактами.

Затем Амодеи призвал ведущие компании в области ИИ «в демократических странах» согласовать «общие стандарты безопасности, а также ограничения на темпы бесконтрольного прогресса ИИ». 

Такая координация может показаться маловероятной — как из-за явной неприязни между Альтманом и Амодеи, так и потому, что их компании, как сообщается, опасаются, что согласованная пауза может привести к антимонопольным проверкам. Амодеи коснулся этого опасения в своей публикации, написав, что «по антимонопольным причинам правительству США было бы полезно выступить посредником или хотя бы создать условия для этих обсуждений — ему не обязательно участвовать в них, но необходимо предоставить узкое исключение для определенных видов переговоров о безопасности».

Амодеи также признал наличие угрозы доминирования китайского ИИ, которую часто приводят как аргумент против замедления разработки. Однако он заявил, что если правительство США и технологические компании предпримут такие шаги, как отказ продавать китайским компаниям мощные чипы или оборудование для производства полупроводников, а также пресечение дистилляции моделей, то они смогут «замедлить прогресс Китая настолько, чтобы за следующие 3–5 лет значительно увеличить отрыв Америки».

Наконец, Амодеи призвал к «глобальной координации», в рамках которой Соединенные Штаты и их союзники «попытаются координировать действия с авторитарными правительствами — насколько это возможно». По словам Амодеи, это означало бы «сотрудничество с Китаем». Он признал, что существуют «серьезные ограничения того, чего можно достичь», но все же предположил, что возможности для соглашения могут найтись, даже если речь будет идти лишь о «запрете некоторых узких и очевидно опасных способов применения ИИ, например использования ИИ для производства биологического оружия или предоставления пользователям возможности делать это».

С учетом того, что Амодеи и раньше был готов признавать потенциальные опасности ИИ, а компания демонстрировала относительную открытость к определенным формам регулирования, некоторые сторонники ИИ уже критиковали его как паникера, чьи заявления подпитывают нынешнюю негативную реакцию на ИИ. В ответ Амодеи заявил, что стремился представить «сбалансированную» точку зрения, и утверждал, что эта негативная реакция «по сути является кризисом доверия», поскольку люди стали скептически относиться к технологическим компаниям, технологической отрасли и правительству.

Критики отрасли также скептически относятся к этим апокалиптическим предупреждениям об ИИ, предполагая, что они отвлекают внимание от вреда, который технология уже причиняет.

Например, журналист Брайан Мерчант написал, что ему до сих пор не доводилось видеть «убедительного пошагового описания того, как именно ИИ может перейти от саморекурсивного совершенствования ИИ к убийству каждого человека на планете»; он также предположил, что предложения, подобные предложениям Амодеи, «вероятно, в итоге будут работать только на Anthropic и OpenAI; именно так выглядит захват регулирования на практике».

В своей новой публикации Амодеи написал, что по-прежнему «верит в то, что ИИ может кардинально повысить качество жизни людей».

«Мое стремление добиться этих преимуществ не ослабевает, — сказал он. — Но преимущества будут достигнуты только в том случае, если мы создадим эту технологию правильным образом, и — при условии, что мы разумно используем выигранное время, — стоит проявить необычайную осмотрительность, чтобы сделать все правильно».