Кевин Руз подсел на AGI. А вы почему нет?

Сегодня я беседую с Кевином Роузом, журналистом и автором новой книги The AGI Chronicles, в которой подробно описывается недавняя стремительная трансформация индустрии ИИ.

Кевин много лет работал репортёром в New York Times и был ведущим популярного подкаста Hard Fork, но недавно он и друг нашей программы Кейси Ньютон ушли из Times, чтобы запустить совершенно новый технологический подкаст Machine Gods, который вышел на прошлой неделе.

Мы с Кевином поговорили о запуске Machine Gods и о том, каково это — перейти из The New York Times в независимые создатели контента, — а затем, конечно, обсудили его книгу, представляющую собой превосходно подготовленное исследование компаний, соревнующихся в создании искусственного общего интеллекта.

Мне хотелось понять, каково Кевину было работать над этим материалом, пытаться разобраться в этих людях и в происходящем историческом моменте, а также в том, что будет дальше. Предупреждаю: в конце разговор принимает довольно философский оборот, но, думаю, этот обмен мнениями покажется вам действительно стоящим.

Итак: Кевин Роуз о The AGI Chronicles, запуске Machine Gods и будущем ИИ. Начнём.

Это интервью было слегка отредактировано для краткости и ясности.

Кевин Роуз — автор The AGI Chronicles и сооснователь и соведущий нового подкаста Machine Gods. Добро пожаловать в Decoder.

Большое спасибо, что пригласили меня.

Я слушал первый выпуск Machine Gods и услышал, как вы с Кейси обсуждали тот факт, что формально вы носите должность генерального директора.

Это правда. Я выиграл подбрасывание монетки, а кто-то должен был занять эту должность. Когда создаёшь компанию, как это сделали мы, нужно указать кого-нибудь генеральным директором — наверное, чтобы было понятно, кого вызывать в Конгресс, когда неизбежно разразится первый скандал. Так что это буду я.

Забавно, ведь теперь вы генеральный директор ещё и на Decoder. Значит, мне придётся задать вам вопросы из Decoder.

[Смеётся] Хорошо. Я всего около пяти минут являюсь генеральным директором и, честно говоря, большую часть дней забываю об этом.

Если честно, это вполне соответствует большинству генеральных директоров в нашей программе. Все они ведут себя так, будто занимают эту должность всего пять минут. Мы ещё к этому вернёмся.

Я хочу поговорить о вашей книге. Она называется The AGI Chronicles. Это тщательно документированная книга о ведущих исследовательских лабораториях и о культурном сдвиге, который все они пережили, когда ИИ вышел на первый план и во многих отношениях стал гораздо более коммерческим продуктом.

Но давайте начнём с Machine Gods. Вы долгое время были журналистом в The New York Times . Очевидно, аудитория, наверное, это знает, но мы с вами знакомы уже много лет. Скажу, что с тех пор, как я вас знаю, желание стать ютубером всегда было для вас одной из главных тем. Вы постоянно говорили: «Как бы мне туда перебраться?» А я всегда отвечал: «Беги и не делай этого». Но вы всё-таки сделали.

Вы ушли из The Times, запустили собственный подкаст вместе с нашим другом Кейси Ньютоном. Это следующее поколение очень популярного подкаста Hard Fork, который был великолепен. Я рад за вас, но что заставило вас решиться?

Да, вы пытались отговорить меня от этого столько же времени, сколько я пытался убедить себя решиться, и у вас не получилось, потому что вот я здесь.

Да, я потерпел поражение. Полное поражение.

Нет, послушайте, я думаю, что по вполне разумным причинам медиакомпании долгое время с опаской относились к тому, чтобы полностью перейти на YouTube или любую другую видеоплатформу. Те, кто сделал на это ставку, не обязательно остались довольны результатом, потому что есть много...

Да, они переходят на видео, а затем регулярно отправляются к смерти.

Да, вы переходите на видео или в итоге тратите массу денег на то, что не окупается. Поэтому, думаю, существуют определённые структурные экономические причины. Но я также считаю, что не так много учреждений способны сделать подобную долгосрочную ставку.

Как вы знаете, много лет я пытался обратить людей из медиа в «ютубизм». Вы со своей стороны пытались отменить это обращение, но я просто считаю, что сейчас это явно важнейшая медиаплатформа в мире. Исторически журналистика не занимала на ней центрального места.

Если посмотреть на YouTube в целом и попытаться оценить, какая его доля посвящена тому, что мы с вами назвали бы качественной журналистикой, она исчезающе мала по сравнению со всей экосистемой.

Так что часть моей миссии — просто разобраться с этим и понять, как работать с YouTube и видео вообще так, чтобы это было устойчиво с экономической и творческой точек зрения. А затем — экспериментировать и пробовать разные вещи.

Это лицо не просится на YouTube. Поэтому я также надеюсь привлечь других людей и подобрать удачные форматы. Но я смотрю на то, что там сделал The Verge. Смотрю на то, чего добились такие люди, как Джоанна Стерн и MKBHD. Для меня это очень захватывающее пространство, где конкуренция гораздо ниже, чем в текстах или подкастах.

Machine Gods — это подкаст, который вы делаете в партнёрстве с NPR, и об этом я хочу поговорить. Но воспринимаете ли вы его как продукт для YouTube?

Мы хотим, чтобы он прежде всего был видеопроектом. Это в основном означает, что мы будем уделять гораздо больше внимания тому, как он выглядит, чем делали раньше. Мы постараемся дать людям множество причин не только слушать, но и смотреть.

Очевидно, мы понимаем, что некоторым просто не нравятся видеоподкасты, поэтому хотим дать аудиослушателям что-то приятное. Но это направление развития. Сейчас невозможно делать подкаст, не добавляя к нему видео. Поэтому мы постараемся по-настоящему принять это и создать хорошую версию — настолько хорошую, насколько два журналиста среднего возраста способны сделать её на YouTube.

Поистине будущее медиа — за журналистами среднего возраста, переходящими на YouTube. Я чувствую то же самое, потому что теперь тоже делаю больше видео, и именно этим мы занимаемся. Будет здорово.

Другая причина уйти и заняться этим — и, конечно, все знают, что я тоже дружу с Кейси, а с вами обоими мы давно это обсуждаем, — заключается в том, что история ИИ уже здесь. Происходит смена платформы. В мире появились новые компании, новые персонажи и новые идеи, о которых можно рассказывать. Забавно, потому что обычно в такой момент меняется и медиа. Способы и форматы повествования обычно меняются вместе с тем, о чём мы говорим, или с технологией, о которой рассказываем.

Здесь YouTube кажется самой надёжной медиабазой из существующих. Это платформа, которая больше всего сохраняет свой прежний облик, хотя и меняется: появились YouTube Shorts, а теперь можно проводить A/B-тестирование всего, включая собственное лицо. Но именно YouTube остаётся наиболее стабильным. Instagram пережил огромные изменения, и похоже, что они будут продолжаться.

Кажется ли вам YouTube самым стабильным местом для создания проекта, пока вы пытаетесь рассказывать эти новые истории?

Да. Конечно, никогда не стоит складывать все яйца в одну корзину. Поэтому мы также распространяем видео в Apple Podcasts и Spotify и будем присутствовать повсюду. Но да, YouTube кажется относительно стабильным.

Меня постоянно занимает вопрос: что потребуется, чтобы заменить YouTube? Многие компании пытались это сделать, но для этого пришлось бы не только создать платформу, более удобную для авторов и пользователей, но и воспроизвести весь визуальный корпус человечества. Нужно было бы просто собрать шесть миллионов видео от сантехников о том, как починить каждый отдельный тип раковины, а затем загрузить их туда. Это очень трудно вытеснить. YouTube настолько укоренился в жизни множества людей, что, думаю, он продолжит расти.

Мы вернёмся к этому, когда заговорим об ИИ, но много лет назад я спросил генерального директора Google Сундара Пичаи: «Что вы будете делать, если сайтов больше не останется?» Он ответил примерно так: «Ну, у нас есть YouTube». И тут невозможно спорить. Да, YouTube у вас есть. И он будет только расти.

Что оказалось самым удивительным в переходе от The New York Times к тому, что можно назвать экономикой авторов?

Мы только начинаем, но пока меня удивляет, насколько мне нравится вся деловая сторона. Думаю, в журналистике нас всегда учат не выходить за рамки своей роли, а я никогда раньше не управлял бизнесом. Кейси управлял. Я знал, что ему это нравится. Но для меня это новые навыки, и нравится мне не всё. Переговоры о страховых предложениях для страхования от клеветы — не то, чем мне хотелось бы заниматься. Но в самом управлении бизнесом что-то есть. Возможно, дело действительно в роли основателя.

Да, сейчас хорошее время. Забавно, что в разговорах с вами, Кейси и Джоанной, которая тоже недавно ушла и начала собственный проект, эта тема постоянно возникает. Для меня именно поэтому я так долго этим занимаюсь. Что будет, если я перестану управлять бизнесом? Похоже, это не выбор. Таково будущее медиа — взять под контроль свой бизнес и свою аудиторию. В этом есть огромная сила.

Одна из тем, которые я хочу обсудить, а затем подробно поговорить о книге, — это аудитория, интересующаяся освещением ИИ, потому что я вижу здесь две стороны. Есть люди, создающие эти технологии, которые их любят и хотят поглощать всё, что с ними связано. Есть люди, которые искренне их ненавидят и считают всё это фальшивкой.

А затем существует, как я бы это назвал, растущая средняя группа, для которой продукты стали полезнее. На них приходится смотреть и оценивать их такими, какие они есть. Пару лет назад они были не слишком полезными. Обещания не соответствовали реальности, но теперь каждый день ИИ умеет делать ещё что-то, чего не умел раньше. Оставим в стороне вопрос о взломе всех сайтов мира, но ИИ действительно способен на то, чего раньше не мог, и аудитория, похоже, меняется.

Как вы представляете аудиторию Machine Gods и то, как она может вырасти или измениться?

Сейчас мы просто пробуем разные вещи, которые кажутся нам хорошими, и надеемся, что они найдут свою естественную аудиторию. Но вы правы: аудитория меняется. Некоторое время существовал большой спрос на отрицание — на людей, которые говорили: это не происходит, не нужно обращать на это внимание, всё это плохо и вредит окружающей среде.

В некоторых уголках интернета это по-прежнему так. На YouTube этого всё ещё странно много, а Reddit также настроен очень анти-ИИ. Но думаю, большинство людей — или, по крайней мере, самая многочисленная группа — либо смирились с тем, что это никуда не исчезнет, либо воодушевлены этим. Именно такую аудиторию мы ищем.

Мы не пытаемся сказать, что ИИ великолепен и при новом машинном режиме нас ждёт утопия. Но мы также не говорим, что всё это фальшивка, что технология бесполезна и исчезнет сама собой, а значит, не нужно её регулировать или беспокоиться о ней. Кейси называет это реализмом в отношении ИИ. Он считает, что существует большая группа людей, которым просто любопытно и интересно, возможно, немного страшно, но их реакция на страх — не прятать голову в песок, а попытаться понять происходящее.

Мы почувствовали это, когда делали Hard Fork. Иногда мы выпускали что-то совсем не в нашем стиле. Например, проводили пошаговый урок по Claude Code: полчаса создавали сайт, снимали себя и выкладывали видео — и оно отлично заходило. Очевидно, людям было любопытно. Даже если комментарии под видео оставляли в основном ненавистники ИИ, спрос со стороны тех, кто просто хотел понять, что происходит, был очевиден.

«Я ненавижу, что не могу перестать это смотреть» — настоящая тема в освещении ИИ по множеству причин.

Давайте поговорим о книге. Думаю, она задаст контекст для многих моих следующих вопросов. Книга очень тщательно документирована и написана увлекательно. Насколько я слышал от вас, её цель — рассказать историю революции глубокого обучения, потому что все эти люди общаются в Signal и публикуют крайне инфантильные твиты.

Расскажите об этом пробеле, ведь эта индустрия одержима тем, чтобы документировать себя для компьютеров и быть понятной компьютерам, но совершенно не заботится о понятности для других людей. Мне это кажется безумным. Объясните, как вы собирали материал для книги, потому что создаётся впечатление, что убедить этих людей вообще рассказать вам, что произошло, было невероятно трудно.

Так и было. В основном я написал эту книгу, потому что боялся, что всё это исчезнет. Я увлекаюсь историей. Люблю читать о братьях Райт, об электрификации сельской Америки, о великих изобретениях во время компьютерной революции. Я обожаю такие вещи.

Читая больше подобных книг, замечаешь, что все они опираются на множество современных записей и свидетельств: лабораторные журналы учёных, создававших атомную бомбу, переписку братьев Райт с друзьями и деловыми партнёрами. Всё это сохранялось и архивировалось.

Когда я каждый день освещал ИИ, мне стало ясно, что здесь не будет ничего даже отдалённо похожего. Во-первых, все создатели этих технологий работают в частных компаниях. Это не государственные служащие, которые по закону обязаны сохранять переписку. Во-вторых, сообщения в Signal и Slack юристы настроили на автоматическое удаление через определённый срок. В итоге с каждым годом буквально происходило бы массовое исчезновение, как мне кажется, исторически важных артефактов, моментов и историй.

И, в-третьих, исследователи слишком заняты, чтобы вести записи. Они работают на пределе, потому что пытаются создать машинного бога. Поэтому я подумал как журналист — но почти в большей степени как историк, хотя официально никогда им не был и, думаю, впервые исполнял эту роль именно с этой книгой: «Мне нужно собрать всё это, потому что у меня есть привилегированное место у ринга. Эти люди разговаривают со мной. Я знаю, что некоторые из них сядут напротив и расскажут мне свои истории».

Многое мы записывали на условиях анонимности, чтобы защитить собеседников от последствий общения со мной. Но это была моя попытка в спешке собрать всё и поместить в архив, где будущие поколения смогут это изучить.

Главная тема, которая особенно бросилась мне в глаза при чтении книги, — момент, когда AGI превращается из того, о чём все мечтают, в то, что все обязаны создать. Ограничения снимаются, и они говорят: «Мы должны это сделать», — после чего изо всех сил устремляются к цели.

Вы особенно подробно рассказываете о Google, где изменилось окно Овертона и люди внутри компании, считавшие всё это несбыточной мечтой и полной глупостью, внезапно начали говорить об AGI. Этот момент кажется самым важным в истории ИИ: «Разве не было бы здорово?» превращается в «Нужно двигаться как можно быстрее».

Расскажите об этом подробнее, потому что этот сдвиг внутри компаний, кажется, освещён недостаточно.

Да, я полностью с вами согласен. Люди говорили и писали об AGI или о чём-то, что не называли AGI, но имели в виду то же самое, буквально с древности. Особенно после 1950-х, когда появился термин «искусственный интеллект». Алан Тьюринг писал о мыслящей машине, способной делать всё, на что способен человеческий мозг.

Эта концепция существует давно, но на рынке или в исследовательских лабораториях не было технологии, способной делать то, чего от неё хотели: воспринимать информацию, учиться понимать эту информацию, а затем использовать её для прогнозирования и действий в мире. Люди пробовали множество подходов, но ни один не работал достаточно хорошо.

Для этого должен был появиться трансформер — архитектура, которую Google разработал в 2017 году и опубликовал, а затем представил, среди прочих, OpenAI. Та взяла идею трансформера и развила её. Именно эта буква T стоит в ChatGPT. Но это был...

Где-то сотрудник отдела по связям с общественностью Google только что выпрыгнул из кустов, чтобы вручить вам чек.

Они обожают эту фразу.

Они так радуются, когда вы её произносите.

Да, обожают. Но меньше им нравится, когда вы отмечаете, что, хотя именно они изобрели трансформер, превратить его в продукт они полностью провалились и сделали это только после OpenAI.

Но да, это была мечта, а прикрепить её было не к чему. Не существовало технологии. Затем появились большие языковые модели, и внезапно возникло ощущение: «Возможно, это то, что может масштабироваться бесконечно и продолжать улучшаться на несколько порядков». Так в OpenAI, а затем и в Google, зажглась лампочка: «Теперь у нас есть инструмент, позволяющий сделать то, чего мы всегда хотели».

В книге есть фраза, где вы отмечаете, что предсказание следующего токена пока не потерпело неудачу — оно делает всё, чего люди от него хотят. Конечно, вокруг него пришлось разработать множество технологий. Есть каркасы для работы агентов, обучение с подкреплением и масса других вещей. Но базовая технология масштабируется.

Я упоминаю это потому, что в 2023–2024 годах спрашивал каждого специалиста по ИИ, приходившего к нам в программу или появлявшегося на страницах The Verge, способны ли большие языковые модели на это. Могут ли они сделать то, чего вы от них хотите? Тогда мне казалось, что это ещё не было очевидно.

Теперь мы ближе. Все открыто говорят об AGI. Мы наблюдаем, как Muse от Meta разгуливает по интернету, когда захочет. Как вы думаете, LLM способны на это? Смогут ли они достичь цели?

Думаю, да. Я не уверен полностью, но до сих пор они были поразительно хороши и эффективны. Если вернуться к первым большим языковым моделям, 99 процентов людей считали, что это безумие и технология не масштабируется. Но она продолжает работать на каждом этапе, при каждом увеличении масштаба. Я спрашивал людей, что именно в предсказании следующего токена оказалось явно лучше всего, что было до него. Некоторые говорили мне, что этот механизм существует и в человеческом мозге. Есть целая школа мысли, согласно которой происходящее внутри человеческого мозга по сути является масштабированным предсказанием следующего токена. Конечно, всё сложнее. Это не полностью идентичные процессы.

Но думаю, это фундаментальная загадка в центре ИИ: почему предсказание следующего токена настолько поразительно эффективно? Мне кажется, мы не знаем ответа. Возможно, это одна из космических тайн. Но всё работает потому, что предсказание следующего токена оказалось очень, очень, очень хорошо обобщаемым.

Здесь есть момент, когда все эти компании должны были в это поверить. Дарио Амодеи из Anthropic, конечно, написал статью «Большое облако вычислений», где утверждал, что это возможно. Можно просто загрузить данные и вычислительные мощности — и мы достигнем цели. Всем остальным пришлось в это поверить.

Какой путь прошли компании, занимающиеся ИИ, чтобы поверить в это, и насколько полно они убеждены сейчас?

Думаю, не все убеждены полностью. Степень уверенности разная. У Ильи Суцкевера есть выражение «почувствуйте AGI»: раньше он ходил по офису OpenAI с этажа на этаж и повторял его, напоминая людям почувствовать AGI. Думаю, лаборатории ощущают AGI в разной степени. Anthropic явно сильнее всех из них прониклась идеей AGI, а OpenAI занимает второе место.

А затем есть Google, которому, как мне кажется, всегда было трудно почувствовать AGI. Причин тому много, но это очень забавно. Мне нравится раздел книги о внутренней перепалке в Google: сотрудники писали манифесты на внутренних форумах, а затем критиковали манифесты друг друга.

Один исследователь написал меморандум «Говорите AGI». В нём утверждалось, что Google, если хочет победить в ИИ, привлечь лучших технических специалистов и безопасно развивать технологию, должен признать с помощью термина AGI, что создаёт не просто набор инструментов для улучшения Gmail, документов или распознавания лиц в Google Photos. Всё это на самом деле ведёт к чему-то вроде универсального интеллекта человеческого уровня.

И тут же кто-то написал ответ: «Не говорите AGI, это ужасный ненаучный термин». Они некоторое время спорили, и даже сегодня [генеральный директор Google] Сундар Пичаи не произносит слово AGI.

Нет, не произносит.

Демис Хассабис говорит AGI. Сергей Брин говорит AGI. Так что внутри Google, похоже, существуют фракции: одни считают всё это безумием и хотят говорить о технологиях как об узкоспециализированных инструментах; другая, растущая и набирающая силу фракция утверждает: «Нет, нет, нет, мы создаём AGI. Или, по крайней мере, нам лучше говорить, что мы создаём AGI, иначе все наши лучшие специалисты уйдут в OpenAI или Anthropic».

Мне кажется, у нас с вами был одинаковый опыт на Google I/O в мае: мы слушали, как Демис Хассабис завершил весь доклад словами: «Мы находимся у подножия сингулярности». А затем мы оба отправились и взяли интервью у Сундара с вопросом: «Что это значит?» А он ответил: «Да-да, Демис. Классный парень».

[Смеётся] Разбирайтесь с Демисом.

Он примерно сказал: «Какой чудаковатый тип, строит здесь машинного бога. А я расскажу вам о новых функциях Google Assistant».

В этом есть серьёзный разрыв, который, возможно, объясняет всё происходящее с Google. Я спрашиваю именно о моменте, когда они внезапно осознали, что должны говорить об этом, потому что OpenAI и Anthropic создавались именно для этого. Они были построены ради этой цели.

Но они не согласны в том, как всё должно работать. Я видел вас на презентации книги в Нью-Йорке, и вы сказали, что могли бы переименовать её в «К чёрту этого парня», потому что они по-настоящему ненавидят друг друга.

Это правда.

И всё же кажется, что у них одна и та же идея: с помощью этой технологии они смогут достичь цели. Коммерческие задачи OpenAI и Anthropic сильно отличаются от задач Google. Сейчас, пока мы разговариваем, мне неясно, смогут ли они достичь AGI до того, как у них закончатся деньги, рухнет CoreWeave или пузырь в целом не придёт к какому-то другому выводу о состоянии экономики.

Как вы думаете, религиозный пыл в отношении AGI мешает им управлять бизнесом? Если бы я сегодня руководил Anthropic, логичным решением было бы прекратить обучение новых моделей и продавать большему числу людей те очень мощные модели, которые у нас уже есть.

Думаю, вера в AGI — палка о двух концах. С одной стороны, если вы как генеральный директор передовой ИИ-компании полностью прониклись идеей AGI, вам будет трудно заботиться о таких вещах, как маржа на инференс или следующий список корпоративных клиентов. Насколько всё это скучно по сравнению с мыслью: «Мы создадим сверхчеловеческий машинный интеллект, который приведёт нас в будущее после сингулярности»?

С другой стороны, вера — ключевой компонент успеха в ИИ, потому что именно вера и способность действовать в соответствии с ней заставляют идти на рискованные шаги, способные принести огромную отдачу, что уже происходило.

Помните, как год назад все говорили: «Боже мой, OpenAI тратит столько денег на вычислительные мощности. Как они когда-нибудь за всё это заплатят? Не переоценивает ли свои возможности Сэм Альтман?» Даже Дарио давал интервью, где критиковал OpenAI за огромные расходы на вычисления.

Прошёл год, и OpenAI теперь единственная крупная ИИ-компания, которая не испытывает острого дефицита вычислительных мощностей. Именно вера, заставившая Сэма и его руководителей сделать, возможно, чрезмерную ставку на вычисления, позволила компании оказаться в лучшем положении, чем Google, Anthropic, Meta или кто-либо ещё. Поэтому я не хочу говорить, что такая убеждённость всегда является обузой: она действительно позволяет делать ставки, которые окупаются, если масштабирование продолжает работать.

Интересно, потому что я мог бы иначе интерпретировать решение OpenAI. В книге вы очень выразительно пишете о том, что в OpenAI называют «вспышкой», когда Сэма Альтмана уволили на 20 минут, а затем вернули, после чего из OpenAI ушло множество людей.

Это тот момент, когда OpenAI, по вашему описанию, превратилась из исследовательской компании в бизнес. Рациональное бизнес-решение звучало так: «Нужно продавать больше ИИ. Следует иметь его как можно больше». Сэм известен как безжалостный бизнесмен. Я слышал, как его называли специалистом уровня S в привлечении денег — совершенно невероятное выражение из Кремниевой долины.

Я воспринимаю это как бизнес-решение. Они отказались от множества прежних занятий. Перешли к созданию корпоративных ИИ-продуктов, где находятся деньги, а затем поняли, что должны удовлетворить этот спрос. Вы же говорите, что это была ставка на AGI, что кажется мне более идеалистическим поворотом. Как совместить эти две трактовки?

Да, я считаю, что это определённо ставка на AGI, потому что Sora, которую они запустили, потратили на неё много денег и вычислительных ресурсов, а затем закрыли, — это интересная игрушка, способная открыть новое направление бизнеса, но она не приблизит вас к AGI.

К AGI вас приближает запуск рекурсивного самоусовершенствования: нужно создать действительно хорошие модели программирования, а затем заставить их работать над самими собой. Именно этим занималась Anthropic. OpenAI в прошлом году отвлекалась на побочные квесты и блестящие объекты, а компанию били со всех сторон. Поэтому OpenAI решила убрать лишнее, сократить расходы и сосредоточиться на программировании и агентных задачах с длинным горизонтом. На данный момент это ведущий путь к AGI или к тому, что придёт после него.

Так что да, это была ставка на сохранение ресурсов за счёт отказа от таких проектов, как Sora. Но сэкономленные средства они потратили на то, чтобы догнать Anthropic в программировании и достичь AGI.

Когда я вижу Дарио Амодеи рядом с Марком Бениоффом на Dreamforce и слышу, как он говорит о продаже корпоративного программного обеспечения, это просто показуха? Я пытаюсь понять, как совместить то, что они стали самыми настоящими поставщиками корпоративного ПО, B2B SaaS-компаниями, и то, что они одновременно строят Бога. Вы знаете этих людей. Как это сочетается? Они говорят: «Теперь я снимаю шляпу B2B SaaS и возвращаюсь к алтарю»?

Думаю, B2B SaaS — это игра, в которую они поняли, что обязаны играть, но не думаю, что это их настоящая страсть. Я разговаривал с Сэмом Альтманом для книги, и он сказал, что всё это произошло случайно: «Я никогда не должен был руководить гигантской технологической компанией, это вообще не входило в планы». Но однажды вы просыпаетесь, а у вас тысячи сотрудников.

У Дарио Амодеи есть ещё один забавный задним числом документ, написанный в 2021 году, когда компания только создавалась. Он называется «Видение для новой компании». Можно посмотреть на прогнозы Дарио относительно AGI. Например, он считал, что создание полноценного AGI обойдётся примерно в 10 миллиардов долларов. Думаю, он ошибся как минимум на порядок, а вероятно, на несколько порядков. Он также полагал, что Anthropic никогда не понадобится больше примерно 50 человек для достижения AGI. Сейчас там около 5000 сотрудников — то есть ошибка примерно в 100 раз.

Мне кажется, случилось то, что процесс занял немного больше времени и потребовал значительно больше денег, чем все ожидали. Корпоративный SaaS нужен, чтобы поддерживать работу маховика, оплачивать графические процессоры и зарплаты исследователей. Это минимальная ставка за возможность продолжать двигать передний край и приближаться к AGI.

Готовы ли они руководить компаниями такого масштаба? Об этом я тоже думал, читая вашу книгу. Все они очень идеалистичны — настолько, что отделились друг от друга и создали собственные компании, потому что не смогли согласовать свои идеалы.

Но никто из них не кажется великим менеджером. Я не знаю, каковы они на самом деле, но «они идеалисты» и «мы будем управлять компанией корпоративного ПО» обычно не помещаются в одном предложении. Как вы думаете, они выдержат это давление?

Нет, но я не думаю, что это под силу кому-либо. То, что они пытаются сделать, ещё никто не делал. Люди создавали компании. Люди быстро создавали компании. Но никто не превращал нулевую выручку в потенциальное IPO на 2 триллиона долларов за пять лет. Такого ещё не было. Поэтому, думаю, они пытаются собрать самолёт, пока тот несётся к горизонту событий, но справляются примерно так хорошо, как только возможно.

Не думаю, что им стоит приглашать профессионального генерального директора из Coca-Cola для управления компанией. Всё, по-моему, просто развалилось бы, потому что они фанатики и миссионеры. Все они вовлечены в это дело — не все, конечно, возможно, кто-то из отдела продаж SaaS просто работает ради зарплаты, — но многие ключевые люди в этих компаниях объединены верой в то, что строят [AGI].

Один человек, не буду говорить кто, недавно сказал мне, что считает свою компанию, возможно, последней компанией. Я подумал: «Последней компанией, которая выйдет на IPO в этом году? Что вы имеете в виду?» А он ответил: «Нет, мы думаем, что это может быть телеологическим концом капитализма, и, возможно, больше никогда не появится крупная компания, которой в основном управляют люди».

Так что эти люди странные — странные в тревожащем, но одновременно очень интересном смысле. Именно это я пытался показать в книге. Я не хотел говорить, что они плохие или великие. Просто необходимо знать, кто они. Нужно понимать, что они ненавидят друг друга и представляют собой необычную породу мыслителей, чтобы разобраться в динамике этой гонки.

В одной части книги вы рассказываете о людях, отделившихся от эффективного альтруизма и ставших акселерационистами. Там есть женщина, которая говорит: «У акселерационистов лучше вечеринки, и мне больше нравится эта атмосфера». Я подумал: «Как это связано с потенциальным уничтожением всех?»

Но они очень человечны, хотя пытаются создать нечто, что в конечном счёте может по-разному расчеловечить всех нас. Как вы восприняли это, работая над материалом?

Экзистенциальный риск нависает над книгой и индустрией. Каждый раз, когда мы выпускаем эпизод об этом, аудитория спрашивает: «Почему они просто не остановятся?» Билл Гейтс недавно пришёл в Decoder и сказал: «Если бы вы были единственной компанией, можно было бы остановиться. Если бы вы думали, что станете единственной компанией с AGI, модель OpenAI работала бы. Но как только передовых компаний становится больше, она перестаёт работать. Кстати, они могут убить вас всех». Я подумал: «Похоже, Билл Гейтс сейчас настроен не слишком оптимистично».

Нет, не слишком.

Что вы думаете о том, что они продолжают гонку, хотя знают о масштабности рисков, а регулятора, который мог бы заставить их решать эти проблемы, нет?

Думаю, есть две или три причины. Я спрашивал их всех. Для книги я поговорил примерно со 150 людьми и задавал каждому вариацию вопроса: «Если это настолько опасно, зачем вы это делаете?» Обычно ответы начинались с фаталистической... не знаю, можно назвать это неизбежностью. Они говорили: «Кто-нибудь всё равно это создаст. Рецепт не такой уж сложный. Нужны вычислительные мощности, данные и правильные алгоритмы — и вы получите AGI. Если это возможно, оно произойдёт, и лучше, чтобы это сделали мы, а не люди, которы