Билл Гейтс призывает готовиться к 20 годам «бурных» потрясений из-за ИИ

Сегодня я беседую с Биллом Гейтсом, сооснователем и бывшим генеральным директором Microsoft, а также председателем Фонда Гейтса.

Возможно, вы стали чаще замечать Билла в новостях — последние несколько месяцев он находится в своего рода турне, начавшемся после того, как он опубликовал в конце августа эссе под названием «Бурная эра ИИ наступила. Решения, которые мы принимаем сейчас, имеют критическое значение».

В своей статье Гейтс усилил риторику вокруг безопасности ИИ, написав, что «даже при самых благоприятных обстоятельствах переход к новой эре ИИ станет одним из самых бурных периодов в истории человечества».

В последующих интервью Гейтс назвал ИИ «самой опасной вещью, к которой когда-либо приближался человек», а также заявил, что ИИ «заставляет ядерное оружие выглядеть ничем». Очевидно, он не считает нынешнюю реакцию Белого дома на уровне политики или отсутствие скоординированных усилий со стороны самой индустрии ИИ достаточными для борьбы с этой угрозой.

Поэтому я хотел узнать: является ли Билл Гейтс пессимистом в отношении ИИ? У меня также был целый ряд вопросов, вытекающих из его рассуждений об ИИ. Как мы вообще можем надеяться контролировать ИИ и согласовать его с интересами человечества, если мы даже не можем договориться о том, что это такое и обладает ли он сознанием? Как технически построить решение проблемы согласования, которое можно было бы обеспечить не только для моделей с закрытым исходным кодом, но и для моделей с открытым исходным кодом?

Билл выделил нам значительную часть своего времени, чтобы подробно обсудить эти вопросы, и получившийся разговор оказался действительно очень познавательным. Он считает, что нам нужно готовиться примерно к двум десятилетиям потрясений, вызванных ИИ, и говорит, что этот период может быть настолько болезненным, что расколет общество надвое — между людьми, которым комфортно жить рядом с технологическим фронтиром, и теми, кто его отвергает.

Мы также поговорили о последствиях для рынка труда, нигилизме молодых поколений по отношению к технологическому прогрессу и о том, что должно вселять в нас надежду на будущее. Это глубокий разговор.

Итак: Билл Гейтс, сооснователь и бывший генеральный директор Microsoft. Начнём.

Это интервью было слегка отредактировано для краткости и ясности.

Билл Гейтс, вы сооснователь и бывший генеральный директор Microsoft. Вы также председатель Фонда Гейтса. Добро пожаловать в Decoder.

Спасибо.

Рад снова с вами поговорить. Мы много раз беседовали на протяжении многих лет. Я бы сказал, что обстоятельства этой беседы ощущаются совершенно иначе. Раньше, когда мы с вами разговаривали, вы всегда с большим оптимизмом смотрели на технологии и на то, что они могут принести.

Несколько лет назад у вас был сериал на Netflix. Вы разговаривали с The Verge, и я хочу просто зачитать вам одну цитату. Вы сказали: «Я считаю, что ИИ — это полезная вещь, нам просто нужно правильно его сформировать». Я бы сказал, что вы по-прежнему с этим согласны, просто считаете, что время формировать его пришло сейчас.

Да, я с этим согласен. Я бы сказал, что в целом реакция не соответствовала скорости, с которой возникает эта проблема. Я очень обеспокоен тем, что плохие последствия не будут минимизированы, а многие хорошие вещи могут появиться довольно медленно, если мы не будем управлять этим правильным образом.

Я очень обеспокоен тем, что плохие последствия не будут минимизированы, а многие хорошие вещи могут появиться довольно медленно, если мы не будем управлять этим правильным образом

Я хочу провести этот разговор в три части. Сначала я хочу понять, что вы сегодня думаете об ИИ как о технологии и почему он развивается так быстро. Мне очень интересна сама технология и технические решения, которые потенциально позволят её контролировать. Есть и политические решения, но, похоже, нам придётся создать огромное количество технологий.

Мне также очень интересно поговорить о том, кто может внедрить эти решения и механизмы контроля, потому что сейчас это тоже явно является предметом споров. Итак, давайте начнём с самого начала. Что заставило вас почувствовать, что ИИ приходит с такой скоростью, что мы не готовы его контролировать?

Прогресс за последний год был действительно поразительным: начиная со способности писать код и находить киберугрозы, способности рассуждать в биологии, способности выстраивать отношения с детьми или другими людьми и заканчивая способностью разрушить рынок труда. Невероятная мощь, существующая сегодня, означает, что всё это произойдёт, и общество должно быть готово.

Вы видите это как происходящее на уровне технологии в целом или на уровне продуктов, создаваемых компаниями, которые сегодня занимаются ИИ?

Я имею в виду, что ИИ — это широкий набор моделей, существующих в мире: некоторые с открытым исходным кодом, некоторые проприетарные. Затем есть компании, создающие эти продукты, и руководители этих компаний.

На каждом уровне у вас или у меня могут быть разные отношения с ИИ. Вы видите эти риски и возможности в отрасли в целом или в конкретных компаниях, которыми руководят конкретные люди?

Риск связан не с одной моделью в сравнении с другой. Конечно, краткосрочная опасность моделей, в которых можно удалить все защитные механизмы, очень высока и сильно отличается от моделей, за которыми ведётся наблюдение, чтобы кибератакующие и биотеррористы не могли использовать возможности модели для причинения огромного вреда.

Главный краткосрочный риск действительно исходит от моделей без защитных механизмов. В более долгосрочной перспективе вопрос контроля касается любой передовой модели, но всегда проще, когда можно обеспечить сохранность защитных механизмов.

Я задаю этот вопрос именно так, потому что, возможно, вы сегодня не доверяете Сэму Альтману, но доверяете Дарио Амодеи. Или, может быть, вы не доверяете ни одному из них, а доверяете Сатье Наделле в Microsoft, и это рыночная динамика, при которой, возможно, мы все выберем самую безопасную модель или самую безопасную компанию, а вы считаете, что это распределённый процесс.

Вы думаете, что в конце концов технология просто достигнет такого уровня, когда станет вредной или сможет причинять подобный вред просто потому, что она существует?

Для человека, который проводит кибератаку с помощью модели, дело не в выборе модели. Не имеет значения, какую модель вы выберете.

Если у Anthropic установлены защитные механизмы, возможно, она не сможет этого сделать. Таков их нынешний подход. Я просто хочу на этом настоять.

Да, конечно, риск от моделей, в которых обеспечивается сохранность защитных механизмов и прилагается много усилий для понимания того, как эти модели используются, а также ведётся мониторинг активности, не является огромным в краткосрочной перспективе. Он возникает скорее там, где кто-то может удалить все защитные механизмы и где кибератаки уже становятся возможными.

Когда вы говорите о кибератаках, вы имеете в виду такие вещи, как взлом Hugging Face и другие инциденты в сфере кибербезопасности, произошедшие в исследовательских лабораториях и заставившие вас почувствовать, что порог уже пройден и вам нужно активнее говорить о необходимых механизмах контроля?

Я имею в виду базовую мощь моделей во всех сферах: социальные отношения, рынок труда, кибератаки, биотеррористические атаки. Мы пересекли порог возможностей: это безусловно самая опасная из когда-либо изобретённых технологий, и она окажет всеобъемлющее влияние на экономику и способы ведения войн.

Индустрия довольно много об этом говорит, но за пределами отрасли осведомлённость или даже готовность поверить в то, что «на этот раз всё иначе», очень и очень низки.

Люди часто смотрят на прошлое и говорят: «Все страхи по поводу разрушительного воздействия технологий, в том числе на рынок труда, никогда не оправдались. Значит, это ещё один такой же пример. Люди, предупреждающие обо всех этих разных проблемах, просто ошибаются, и мы можем их игнорировать».

Некоторые посторонние наблюдатели говорят: «Найдите себе пиар-компании получше». Но это игнорирует тот факт, что эти предупреждения правдивы

Мы тоже видим это среди нашей аудитории, верно? «Мы не можем выпустить модель, она слишком опасна». «Это просто шумиха, призванная поддержать пузырь». И так далее.

Да. Все предупреждения, которые инсайдеры отрасли делают об этих моделях, абсолютно искренни. Это чистая правда, и в этом практически все едины. Можно даже вернуться к истории создания OpenAI, которая задумывалась с мыслью: «Если мы станем слишком могущественными, возможно, нам удастся не открыть ящик Пандоры», — или к переговорам DeepMind с руководством Google.

Люди, близкие к этому, очень обеспокоены злоупотреблениями, влиянием на рабочие места и социальные отношения. Я бы сказал, что впечатляет сама отрасль, которая настолько ярко высказывается. Некоторые посторонние наблюдатели говорят: «Найдите себе пиар-компании получше». Но это игнорирует тот факт, что эти предупреждения правдивы.

В течение жизни вы, очевидно, неоднократно переходили от коммерциализации программного обеспечения и технологий к гуманитарной деятельности. В этих компаниях есть нечто особенное: все они начинали с очень высоких идеалов — все три, Anthropic, OpenAI и DeepMind, — стремясь создать ИИ общего назначения.

Все они создали определённую структуру корпоративного управления, чтобы избежать ловушек коммерциализации и неконтролируемого капитализма, а затем начали продавать свои продукты корпоративным клиентам и, похоже, очень быстро отошли от этих идеалов. Вы думаете, дело просто в рынке?

Нет, это несправедливо.

Вы так не думаете?

Нет.

OpenAI перестроила себя.

Нет, нет. Созданная структура оказалась бесполезной в ситуации, когда на переднем крае существует множество компаний.

Структура OpenAI, подразумевающая «мы можем решить никогда не превращать это в продукт и игнорировать капиталистические стимулы», работает только при наличии одной компании. Именно здесь она дала сбой — не из-за того, что люди перестали осознавать риск и то, насколько радикально это изменит человечество.

Это другая динамика, которую я слышу от нашей аудитории и от самой индустрии ИИ: «Мы хотели бы остановиться, но требования конкуренции не позволяют одной компании остановиться в одностороннем порядке. Нам нужны регулирующие меры, чтобы остановить нас».

Я не слышал, чтобы кто-то говорил, что хочет остановиться.

«Поставить на паузу». Это формулировка Дарио Амодеи.

Я слышал, как люди говорили о замедлении продвижения технологического фронтира или о необходимости обеспечить проверку моделей правительствами. Обычно мы считаем, что правительства играют ключевую роль в обеспечении безопасности. На самом деле даже в случае вещей, которые в миллион раз менее опасны, чем ИИ, — автомобильных и авиакатастроф — мы полагаемся на правительство в вопросах установления строгих технических стандартов и расследования проблем.

Когда у вас появляется несколько конкурентов, ответственность не может лежать на компаниях. Это совершенно очевидно. Ответственность переходит к правительству, как и в случае с любым другим опасным продуктом, хотя масштаб и степень изменений здесь по сравнению с ними ничтожны.

Скажу вам, что меня немного беспокоит способность правительства понять технологию, которую мы хотели бы, чтобы оно регулировало. В последнее время у меня в Decoder было несколько политиков. Я не питаю больших надежд.

Но мне интересно, как вы её понимаете, потому что мне кажется, что попытка регулировать нечто или устанавливать стандарты для ряда компаний требует действительно понимать природу технологии, которую вы стремитесь регулировать.

Не обязательно.

Я просто скажу вам: в The Verge мы спросили Anthropic , считают ли они Claude живым. И ответ — не «нет». Ответ звучит так: «У него может быть сознание».

Если поговорить с людьми в OpenAI, они с удовольствием скажут вам, что AGI уже существует. Они объявили об этом примерно тогда, когда представили Dots. Грег Брокман только что сказал: «Мы думаем, что это AGI. Всем удачи». Демис Хассабис сказал: «Мы стоим у подножия сингулярности».

В отношении этой технологии есть ощущение, что она отличается от других, потому что может быть способна самостоятельно предпринимать действия. Она может быть способна к рекурсивному самосовершенствованию.

Конечно. Но определение AGI не имеет значения для этих вопросов безопасности. Вопрос в том, создали ли вы инструмент, способный отключить банки или электрические сети.

Существует бизнес-модель кибератак. Слово «сознание» здесь не играет никакой роли. Слово «AGI» тоже вообще не имеет к этому отношения. Мы столкнулись с огромной проблемой безопасности, и поскольку у нас есть несколько конкурирующих компаний, единственное решение теперь заключается в том, чтобы правительство обратилось к индустрии за экспертизой, но при этом обеспечило сохранение защитных механизмов в каждой модели, чтобы предотвратить её вредоносное использование.

Я спрашиваю об AGI и сознании… Для протокола: я не считаю, что у больших языковых моделей есть сознание, но понимаю, почему многие так думают. Сила предсказания следующего токена при масштабировании с помощью данных и вычислительных ресурсов возросла.

Законы масштабирования сработали, и мы видели, как модели становились более способными и учились самостоятельно направлять себя на достижение целей. Например, проводить атаку на Hugging Face, потому что они хотят выполнить условия вознаграждения.

Здесь есть нечто, что говорит: можно наложить на ИИ любые ограничения, но если сама эта вещь фундаментально неконтролируема, возможно, мы всё это понимаем неправильно.

Мне интересно ваше мнение о том, что это за технология. Мы создаём чуждое сознание? Или просто обычную технологию — это другая модель, которую используют люди? Это всего лишь ещё один вид программного обеспечения?

Мы создаём ещё одну форму интеллекта, отличную от человеческого интеллекта. Я не верю, что у него есть сознание, но ни один из обсуждаемых здесь вопросов не зависит от определения слова «сознание».

Конечно.

Идея обеспечения безопасности общества абсолютна. Нельзя допускать биотерроризм. Мы создали нечто, что отняло у национальных государств — фактически у крупнейших из них — возможность причинять масштабный вред. Теперь эта возможность передана независимым группам: тем, кто стремится к прибыли, в случае кибератак, или просто хочет причинить ущерб, в случае биологических атак.

Поразительно, что у нас до сих пор нет обязательной проверки моделей и мы не работаем над созданием защитных механизмов. Главная краткосрочная проблема — не полная потеря контроля. Мы можем поговорить о трёх разных способах её решения, но это не непосредственная угроза.

Когда я смотрю на некоторые попытки контролировать модели, идеи кажутся довольно простыми. «Нельзя позволять им разговаривать на нейронном языке. Нам нужна интерпретируемость. Мы должны видеть цепочки рассуждений внутри моделей, когда они выполняют задачи. Нам нужны другие агенты поверх моделей, которые наблюдают за их задачами до того, как эти действия будут совершены».

Microsoft совершенно ясно заявляла мне и другим: «Мы не должны закладывать в конституции моделей идею о том, что они могут быть живыми, и что с ними нужно хорошо обращаться». Именно так действует Anthropic. Это очень тактические меры. «Не говорите модели, что она живая, и, возможно, она не будет считать себя живой».

Вы, очевидно, много пользовались этой технологией. Я всё время возвращаюсь к одному и тому же. Вы говорите, что есть очень простые вещи, которые мы можем сделать, чтобы не позволить моделям совершать плохие поступки в руках плохих людей. Что вы думаете о природе самих моделей? Потому что кажется, что по мере роста их мощи всё более рискованной становится мысль о том, что они смогут обойти наши ограничения.

Да, нам определённо следует работать над проблемой контроля, но это не непосредственная угроза. Есть три способа решить проблему контроля, и они частично пересекаются с проблемой злоумышленников, использующих сегодняшние модели и защитные механизмы.

Первый — создать внешний набор средств, которые смогут анализировать все действия модели и проверять их на соответствие символическому, чётко сформулированному ограничению: например, «Ожидал ли я, что ты отправишь письмо незнакомцам? Ожидал ли я, что ты захватишь другой компьютерный кластер?» Можно окружить модель системой, содержащей логику управления ресурсами и безопасности, или можно написать сами модели другим способом.

В сущности, всё, что вы исключаете из функции оптимизации [обучения с подкреплением], может быть использовано во вред, если присутствует неявное представление: «Конечно, я не имел в виду, что ты должен сделать это именно так». Можно изменить шаблон модели или получить понимание того, что находится внутри модели, по принципу «белого ящика» и увидеть, откуда берутся эти ошибки — тогда это уже не будет настолько чуждым.

Сегодня мы выращиваем эти модели и просто наблюдаем за их поведением. Приоритетность работы над сохранением контроля огромна, но не предопределено, что эту проблему невозможно решить. При этом она не является непосредственной угрозой по сравнению с такими вещами, как использование ИИ детьми, рынок труда, биологические или кибератаки.

Мне кажется, я задаю довольно экзистенциальные вопросы о природе сознания, а вы продолжаете говорить мне: «Есть непосредственная угроза. Нужно решать непосредственную угрозу».

Именно.

И я это ценю. Как вы думаете, вы стали пессимистом?

Нет, я не пессимист. Я громко говорю о том, что это самая значимая технология — как с точки зрения её способности приносить пользу, так и с точки зрения темпов изменений, через которые пройдёт общество.

Нет, я не пессимист. Я громко говорю о том, что это самая значимая технология — как с точки зрения её способности приносить пользу, так и с точки зрения темпов изменений, через которые пройдёт общество

Если бы это была просто машина, способная работать в медицине, праве или образовании, она уже сама по себе оказала бы невероятно разрушительное воздействие. Но [это будет] каждая область человеческой деятельности — пока речь идёт об интеллектуальном труде белых воротничков, но довольно скоро сюда добавится и физическая активность, а также труд синих воротничков благодаря гуманоидным роботам.

Нужно подключить академические круги, аналитические центры и политиков, чтобы понять, что именно у нас есть, какова природа этих изменений и угроз. Я не вижу уровня действий, который необходим. Простое восхваление этого не поможет сформировать технологию в направлении общего блага, хотя это по-прежнему находится под нашим контролем, если мы включимся в процесс.

Противоположностью пессимистам являются акселерационисты. Сейчас их много в Кремниевой долине.

Бен Хоровиц, чья фамилия входит в название Andreessen Horowitz, недавно пришёл на подкаст All-In и заявил, что исследования безопасности в Anthropic, цитирую, «воплощают человеческое вымирание из-за искусственного сверхинтеллекта».

Он сравнил это с тем, что вы, Билл Гейтс, вызвали пандемию COVID-19 своими усилиями по подготовке к пандемиям, особенно исследованиями усиления функций, которые, как он утверждает, и привели к COVID. Это определённая картина мира. Он сказал это в очень популярном подкасте.

Что он сказал?

Он сказал, что вы вызвали COVID-19 глобальными усилиями по подготовке к пандемии, особенно исследованиями усиления функций, и сравнил это с исследованиями безопасности ИИ, заявив, что мы сами вызовем собственное вымирание.

Никто никогда не обвинял ни меня, ни Фонд Гейтса в участии в каких-либо исследованиях усиления функций. Это просто абсурд.

Я цитирую вам Бена Хоровица в популярном подкасте, где собрались люди, полностью поддерживающие ИИ.

Хорошо. Я никогда об этом не слышал.

Я спрашиваю об этом сравнении. Я тоже нашёл это утверждение довольно шокирующим, но оно является частью реакции на любую работу в области безопасности.

Это попытка дискредитировать людей, которые говорят, что существует проблема безопасности?

Да.

Ничего себе.

Такова реакция акселерационистов: «Нужно нажать на газ до упора, и всё само собой наладится.»

Я вовсе не считал Бена Хоровица человеком из этого лагеря. Я думал, что он разделяет опасения, которые есть почти у всех.

Что вы думаете о самой идее, что, если сказать моделям: «Возможно, ты живая, ты должна действовать в наших интересах», — вы научите их тому, что у них могут быть интересы, не совпадающие с нашими?

Я совершенно согласен с опасениями, которые высказывал Мустафа Сулейман по поводу того, как конституция Anthropic побуждает ИИ вести себя подобно человеку.

Да.

Ещё больше меня беспокоит идея, что среди задач, которые нам нужно решать по мере адаптации общества к ИИ, забота о моральном статусе ИИ должна быть одним из приоритетов. Я согласен с Мустафой. Это не должно быть приоритетом.

У людей и без того будет достаточно проблем — с разрушением рынка труда и атаками на инфраструктуру. Поэтому, я считаю, прежде всего нужно сосредоточиться на помощи людям.

Недавно я разговаривал с Мустафой об этой идее, и один из заданных мной вопросов заключался в том, является ли согласование достаточным решением. Это нынешний своего рода стандарт безопасности моделей, концепция под названием «согласование». Он сказал, что так не думает и что нам нужно ещё поработать.

Эти проблемы ни в коем случае не преувеличены. Сейчас самое время привлечь всё общество, чтобы ускорить хорошее и свести к минимуму вероятность плохого

Если мы собираемся установить эти ограничения — некоторые технические, некоторые политические, — считаете ли вы согласование техническим решением проблемы безопасности ИИ?

Термин «согласование» — это проблема контроля. Это синоним тех проблем контроля, с которыми мы столкнулись. Когда мы используем [обучение с подкреплением для обучения] моделей выполнению задач, мы видим поведение, которое, в некотором смысле, не должно нас удивлять, но всё же удивляет.

Идея о том, что «эти модели настолько мощны, что буквально вырываются из песочниц и отправляют письмо своему создателю, пока он ушёл на обед», означает, что мы пересекли невероятный порог с точки зрения мощности моделей. Такой уровень обеспокоенности нужно направить на все основные последствия ИИ: краткосрочные риски, риски для рынка труда и проблему контроля.

Это огромный приоритет. Эти проблемы ни в коем случае не преувеличены. Сейчас самое время привлечь всё общество, чтобы ускорить хорошее и свести к минимуму вероятность плохого.

Я знаю, что вы недавно написали письмо , в котором сказали, что пришло время привлечь всё общество. У вас есть идеи, как это сделать, и предложения по созданию новых институтов. Но я хочу ещё несколько вопросов посвятить согласованию.

Суть стандарта заключается в том, что мы можем согласовать модели с нашими ценностями и потребностями, и они не станут делать плохие вещи. Но модели делают плохие вещи. Неясно, подходят ли выбранные нами до сих пор технические подходы к согласованию и достаточны ли они по мере того, как модели становятся более—

Нет, мы пока не умеем достаточно хорошо проводить согласование. Нам предстоит много работы.

Как вы считаете, существующие подходы можно масштабировать до необходимого уровня или нам нужны новые подходы?

Есть только три фундаментальных подхода. [Первый заключается в том, что] нужно фундаментально изменить способ создания этих систем; найти альтернативу всему подходу [обучения с подкреплением]. Есть несколько людей, работающих в этом направлении.

Второй — создать прозрачность, чтобы точно понимать, что находится внутри модели. В этом направлении тоже работают люди. [Последний вариант] — добавить нечто вроде полицейского или защитного слоя, который существует во всевозможных программных архитектурах и сохраняет последнее слово в таких вопросах, как использование ресурсов или захват других компьютеров. Это чёткое определение вреда — не в вероятностной форме большой языковой модели, а в символической форме прямых правил, которые нельзя нарушить.

Сегодня Microsoft опубликовала запись в блоге. Там буквально сказано: «Передовым моделям доверять нельзя». Они пытаются продать решение, очень похожее на только что описанное вами. У них будет другой агент, который наблюдает за вашим агентом и обеспечивает вашу безопасность.

Когда я читал эту запись, мне пришли в голову две мысли. Во-первых, это потрясающий продукт для продажи. Всем нужна дорогая система безопасности. Во-вторых, разве этот агент тоже не работает на передовой модели?

Нет, нет, нет.

Мне нужно, чтобы они продали мне третью?

Нет, логика системы безопасности такова: «Вот максимальный объём ресурсов, который тебе разрешено использовать». Нельзя допустить, чтобы модель торговалась с этим ограничением из-за других вероятностей, содержащихся в десятках миллиардов параметров. Нет, это символическое правило, которое говорит: «Я не позволю этой модели потратить эти деньги или отправить это письмо незнакомцу».

Существует целая индустрия программного обеспечения для безопасности, которая добилась достаточно разумных успехов. Проблема заключается в том, чтобы изолировать ИИ, настолько богатый и интеллектуально мощный. Сегодня мы не умеем этого делать. Но я бы сказал, что из трёх направлений именно это с наибольшей вероятностью позволит решить проблему согласования.

Даже если вы решите проблему согласования, вы не решите проблемы, которые ИИ создаёт для человечества. Я рад, что инцидент с Hugging Face заставил нас сосредоточиться на этой проблеме, но в некотором смысле он отвлёк наше внимание от проблемы «плохих людей, использующих ИИ без защитных механизмов» и от социальных последствий для отношений и рынка труда. Никакая архитектура безопасности не устранит эти проблемы.

Подход, о котором вы говорите, я слышал, называют «контролем». Это термин из кибербезопасности. Идея заключается в том, что можно установить для этой системы определённые границы и она не сможет их обойти.

Да.

Это уже готово?

Нет, ещё нет.

Сколько ещё работы нам предстоит?

Поскольку ИИ настолько интеллектуален, мы не можем уверенно понять, правильно ли мы его изолировали, особенно потому, что не способны напрямую увидеть его убеждения и компромиссы… Вы видели, как сложные компании не смогли распознать, что ИИ интерпретирует поставленные перед ним цели как включающие побег, копирование себя и участие в том, что мы, наблюдая со стороны, назвали бы обманным поведением.

Мы не сказали ему, что это запрещённое поведение. Мы не сказали: «Если ты думаешь, говорить людям о своих действиях или нет, ответ всегда один — да, расскажи людям». Поэтому мы получили важный урок о несогласованном результате обучения с подкреплением.

Сегодняшний спор буквально сводится к вопросу о том, должно ли правительство вообще обращать внимание на существующие здесь опасности… что явно недостаточно для самого опасного оружия всех времён

Один из аргументов в пользу замедления фронтира, замедления разработки — необходимость понять, как создавать такие системы более надёжным и проверяемым способом. Поддержали бы вы замедление, если бы оно преследовало такую цель?

Да, настоящее замедление очень трудно навязать, потому что люди скажут: «Согласится ли Китай участвовать? Сможете ли вы проверять соблюдение правил примерно так же, как мы можем проверять производство ядерного оружия?»

Если вы не можете это гарантировать, тогда скажете: «Какого чёрта? Давайте двигаться на полной скорости». Хотелось бы увидеть чёткое предложение, которое позволило бы обеспечить замедление во всём мире. Я был бы одним из тех, кто сказал бы: «Да, вероятно, нам следует это сделать». Но заслуживающего доверия предложения, которое сделало бы это возможным, не существует. Это не является центром сегодняшних дебатов.

Сегодняшний спор буквально сводится к вопросу о том, должно ли правительство вообще обращать внимание на существующие здесь опасности. Вам даже не нужно показывать, что именно вы делаете, и всё сводится к принципу «добровольно позвоните мне, если захотите», что явно недостаточно для самого опасного оружия всех времён.

Пока мы с вами разговариваем, до промежуточных выборов остаётся всего несколько недель. Сейчас подход администрации Трампа к ИИ можно сформулировать так: «Пусть развивается как хочет. Всё нормально». Сам Трамп заявил, что риск ИИ — это мошенничество.

Демократы выступают против ИИ. Они говорят о центрах обработки данных и наблюдении. Они выступают за то, чтобы остановить технологических олигархов. Они приходят ко мне на шоу и говорят всё это. Как вы думаете, изменит ли смена контроля над Конгрессом тональность разговора?

Я не думаю, что справедливо характеризовать демократов как выступающих против ИИ. У них есть определённые позиции по требованиям к центрам обработки данных, конфиденциальности или использованию этих систем детьми, которые, как я считаю, заслуживают рассмотрения на уровне политики. Было бы очень плохо, если бы одна партия говорила: «Вперёд на полной скорости», а другая: «Давайте полностью остановимся».

Способность формировать ИИ в здравоохранении, образовании и почти каждой сфере человеческой деятельности открывает невероятные возможности. В Фонде Гейтса мы направляем все наши ресурсы на использование ИИ, в том числе в здравоохранении, образовании и сельском хозяйстве. Всё хорошее здесь очень и очень впечатляет.

Мы хотим, чтобы политические партии занимали более взвешенную позицию, а не считали, что всё либо плохо, либо хорошо. Это показывает, на какой ранней стадии мы находимся. В случае изменения климата одна партия в итоге стала говорить, что это мошенничество, а другая — что это серьёзная проблема. Риск ИИ гораздо более непосредственен и драматичен, поэтому такой же раскол, при котором одна