Пусть настоящий Anthropic встанет

Эта статья впервые появилась в The Algorithm — нашем еженедельном информационном бюллетене об ИИ. Чтобы получать подобные материалы одним из первых, подпишитесь здесь.

После нескольких недель лихорадочных спекуляций Anthropic подала проспект к IPO. В документе на 335 страницах (около 100 страниц посвящены рискам) изложен уникальный взгляд компании на создаваемую ею технологию и на то, как, по её мнению, она изменит мир. 

Но Anthropic годами оттачивала навыки сторителлинга. Фактически её публичная коммуникация — это мастер-класс по захвату нарратива.

Ранее в этом месяце Джек Кларк, сооснователь компании и руководитель её отдела по вопросам государственной политики, выступил на заседании МВФ в Бангкоке, где объявил собравшимся экономистам, банкирам и законодателям, что сингулярность уже наступила.

Введённая писателем-фантастом и футурологом Вернором Винджем около 40 лет назад (и долго обсуждавшаяся на более увлечённых технологиями перифериях интернета), сингулярность, как предполагается, — это момент, когда технологии становятся настолько совершенными, что превосходят способности своих создателей.

Согласно этой идее, люди остаются далеко позади, больше не способные конкурировать с результатами своего прежнего творения — или даже понимать их.

И этот вымышленный мир, который многие из нас представляли с детства? Похоже, мы уже в нём живём: «Я считаю, что в этом году мы получили убедительные доказательства того, что он уже начал наступать», — сказал Кларк своей аудитории.

Компания рассказывает яркую (и во многих отношениях пугающую) историю о будущем, которое она изображает неизбежным, но которое ещё не наступило, часто заимствуя её из избитых научно-фантастических сюжетов. Она представляет свою технологию как загадочную и опасную и настаивает, что только ей можно доверить её укрощение. (Какой инвестор не захотел бы в этом участвовать?)

Вот ещё один пример. В прошлом году Криса Олу, другого сооснователя Anthropic, пригласили выступить в Ватикане, где он рассказал папе Льву XIV и другим религиозным учёным и представителям властей о том, что его компания узнаёт о своей технологии. «Буду честен: мы продолжаем находить вещи, которые кажутся загадочными и даже тревожными, — сказал он. — Мы находим свидетельства самоанализа. Мы обнаруживаем внутренние состояния, функционально похожие на радость, удовлетворение, страх, горе и беспокойство».

Неважно, что многие исследователи презрительно отнеслись бы к столь явному предположению, будто программное обеспечение Anthropic обладает человеческим внутренним опытом. Когда так мало кажется определённым, заявления Anthropic (и других передовых компаний в сфере ИИ) подхватывают и цепко держатся за них, как за обломки тонущего корабля.

Я не утверждаю, что они обязательно ошибаются во всём этом. (Это тема для другого разговора.) Но в мире, где никто не знает, что нас ждёт, такие компании, как Anthropic, получают возможность заполнить вакуум. 

Стоит остановиться и спросить: что такое Anthropic? Это может звучать как простой вопрос в семейной викторине, но ответить на него гораздо сложнее, чем вы могли бы подумать.

Этот вопрос не выходит у меня из головы после того, как на прошлой неделе я прочитал обсуждение в X, начатое Натаном Кэлвином, директором по стратегии Encode AI — базирующейся в Вашингтоне организации, выступающей за регулирование. Кэлвин был недоволен законопроектом, который Anthropic предложила в проекте закона, тайно распространявшемся среди американских законодателей (а затем оказавшемся в открытом доступе).  

По словам Кэлвина, Anthropic хочет выглядеть хорошим парнем. Но почему мы должны ей доверять? «Что такое Anthropic?» — спросил он.

Вот один из ответов: Anthropic — это компания, чьё IPO оценивает её стоимость более чем в 1,5 триллиона долларов, принося её сооснователям, включая Кларка и Олу, огромное состояние. 

Но Anthropic всегда настаивала, что она нечто большее. Как отметил Кэлвин, Anthropic можно рассматривать как организацию, занимающуюся безопасностью ИИ и сосредоточенную на разработке мощной технологии, которая надёжна и (почти) не несёт рисков. Или же её можно считать группой людей, одержимых созданием технологии со сверхчеловеческими возможностями раньше всех остальных — возможно, потому что они считают себя наиболее ответственными людьми для такой работы, а возможно, из-за собственного эго.

На самом деле Anthropic — это всё перечисленное. Как выразился генеральный директор Дарио Амодеи в ответе на пост Кэлвина: «Наша стратегия всегда заключалась в том, что я называю “гонкой к вершине”: показывая, как можно ответственно создавать эту технологию, мы можем повысить планку для всей отрасли. Силы, которые двигают гонку к вершине, гораздо эффективнее, если компания, применяющая их, находится на переднем крае; это один из уроков, которые я усваивал снова и снова. И, рассматривая эту стратегию в целом, я горжусь нашими результатами и продолжаю её поддерживать».

Амодеи говорит так, будто ему удалось всё увязать, но играть сразу несколько ролей трудно. Например, между приоритетами организации, занимающейся безопасностью ИИ, и ориентированной на прибыль мегакорпорации существуют огромные противоречия. (В своём посте Амодеи признаёт, что совершал ошибки.)

В конечном счёте истории, которые Anthropic рассказывает самой себе, должны помочь нам понять истории, которые она рассказывает нам. Они должны помочь нам решить, насколько мы готовы доверять ей саморегулирование или следует ли заставить её предоставлять внешним специалистам по безопасности доступ к своим моделям на наших условиях, а не на её. Они должны помочь нам дать ей презумпцию добросовестности (или не дать её), когда обнаруживается законопроект, выглядящий выгодным прежде всего для самой компании.

Но я думаю, что эти истории раскрывают многоглавую гидру. Для разных людей Anthropic означает разное, и я не уверен, что от этого она становится заслуживающей большего доверия. Во многих отношениях обычная технологическая компания — без научно-фантастического ролевого спектакля, без эзотерики — была бы гораздо понятнее.