От Atari до EVE Online: развитие на основе 15 лет исследований ИИ в играх

От Atari и го до StarCraft — игры стали движущей силой некоторых крупнейших прорывов в области ИИ. Теперь мы сотрудничаем с разработчиками игр, создавая прототипы новых игровых возможностей, которые расширяют границы как игровой индустрии, так и искусственного интеллекта.

С момента основания DeepMind в 2010 году ограниченные, но насыщенные миры игр играют важнейшую роль в понимании интеллекта. Они стали источником некоторых из наших крупнейших прорывов в области ИИ — от освоения Atari до помощи в решении задачи предсказания структуры белков, — и по-прежнему находятся в центре нашей работы.

Игры заложены в ДНК GDM. Демис Хассабис, один из основателей Google DeepMind, сам в прошлом был разработчиком игр, как и многие из нас в команде GDM. Вместе мы располагаем десятилетиями практического опыта разработки игр и глубоко уважаем мастерство их создания.

Мы всегда подчёркивали, что исследования ИИ с использованием игр требуют тесного сотрудничества с разработчиками игр — например, нашего крупного нового исследовательского партнёрства с Fenris Creations и вселенной EVE, о котором мы объявили ранее в этом году, а также совместной работы с такими известными студиями, как Hello Games, Coffee Stain Studios, Foulball Hangover и другими.

Игры как двигатель исследований ИИ

Наш путь начался с того, что небольшая команда обучила глубокую нейронную сеть играть в игры для Atari 2600, используя только исходные пиксели. Deep Q-Network (DQN) научилась играть в 49 разных игр — от Pong и Breakout до Space Invaders — без какой-либо специальной разработки для конкретных игр. Статья о DQN, опубликованная в Nature в 2015 году, помогла дать начало современной эпохе глубокого обучения с подкреплением.

Затем мы попытались освоить более сложные игры, и каждый новый этап приводил к созданию более способных и универсальных систем. AlphaGo победила чемпиона мира по го Ли Седоля в 2016 году — достижение, которое, по мнению многих экспертов, ожидалось лишь через десятилетие. AlphaGo Zero превзошла все предыдущие версии, обучаясь исключительно в самостоятельной игре и не используя человеческие данные. AlphaZero обобщила этот подход и освоила шахматы, сёги и го с помощью одного алгоритма, тогда как MuZero научилась играть, даже не зная правил. В 2019 году AlphaStar достигла уровня гроссмейстера в StarCraft II, справляясь со сложностью реального времени и неполной информацией.

В каждой игре ИИ обогащал игровой опыт. Знаменитый ход 37 AlphaGo был настолько неожиданным, что профессиональные комментаторы сначала сочли его ошибкой. Он перевернул многовековые представления о го и вдохновил экспертов на изучение новых стратегий. AlphaZero также вдохновила на создание совершенно новых вариантов игры в шахматы. Что особенно важно, дух исследования, принесший успех в играх, оказал глубокое влияние на другие системы ИИ: AlphaFold применила эти основы для решения великой 50-летней задачи предсказания структуры белков — прорыва, отмеченного Нобелевской премией по химии 2024 года.

От освоения игр к их пониманию

Наша ранняя работа показала, что ИИ может освоить любую игру при наличии чёткой цели и достаточного обучения. Но в реальном мире нет ни очков, ни сводов правил — и это привело нас к принципиально иному вопросу: способен ли ИИ понимать любой игровой мир и взаимодействовать с ним так, как это делал бы человек?

Именно в этом заключается задача SIMA — масштабируемого обучаемого агента для множества миров. Вместо оптимизации высокого результата SIMA представляет собой универсального агента, который «видит» то же, что игрок видит на экране, понимает инструкции на естественном языке и действует с помощью обычных клавиатуры и мыши — без необходимости в API или доступе к исходному коду.

Работая на базе Gemini, наших передовых моделей ИИ, SIMA 2 выступает интерактивным компаньоном, способным рассуждать и вести диалог в реальном времени. Она демонстрирует игру на уровне человека в сложных трёхмерных исследовательских средах и видеоиграх, включая No Man's Sky, Valheim, Hydroneer и другие.

Для разработчиков игр по-настоящему универсальный игровой агент открыл бы доступ к возможностям ИИ, работающим с уже существующими играми, — без необходимости изменять их код. Это могло бы обеспечить совершенно новые игровые возможности: от ИИ-компаньонов, действительно понимающих игровой мир, до неигровых персонажей (NPC), которые адаптируются и реагируют так, как никогда не смогли бы сценарные системы.

Универсальный игровой агент также мог бы преобразить процесс создания игр. На этапе разработки, когда игра меняется после каждого коммита, такие агенты позволили бы проводить по-настоящему надёжное тестирование качества. После запуска, когда появляется новый контент или игроки ведут себя непредсказуемо, они могли бы адаптироваться в реальном времени — обобщая опыт на новые ситуации без необходимости заново прописывать сценарии.

Чтобы безопасно и ответственно разрабатывать агентов SIMA, мы сотрудничаем с известными игровыми студиями и формируем постоянно расширяющийся набор игр для исследований ИИ. Это позволяет испытывать наших агентов на всё более сложных задачах, которые однажды могут помочь решать проблемы реального мира.

Исследование новых рубежей ИИ и игр в партнёрстве с разработчиками игр

Игровые студии привносят профессиональное мастерство, необыкновенные игровые миры и глубокое знание своих игроков. Мы привносим передовые технологии ИИ — от Gemini до исследований генеративных интерактивных сред и воплощённых агентов, — исследовательскую экспертизу, а также уникальный опыт нашей команды в разработке игр и многолетний опыт создания ИИ для интерактивных сред. Вместе мы сосредоточены на поиске прорывных возможностей — невиданных ранее игровых механик, которые были бы невозможны без ИИ.

Дело не в технологиях, а в увлекательных впечатлениях. Поэтому в работе с партнёрами мы придерживаемся подхода «показывать, а не рассказывать». Наша команда тесно сотрудничает с разработчиками игр, изучает новые идеи и создаёт играбельные прототипы, чтобы найти то, что действительно интересно.

Наше последнее исследовательское партнёрство с Fenris Creations, независимой студией, создавшей вселенную EVE, открывает новую главу в истории наших исследований ИИ в играх.

Fenris Creations более двух десятилетий создавала один из самых необычных постоянных миров в игровой индустрии. EVE Online, запущенная в 2003 году, представляет собой космический симулятор с массовым участием, где тысячи игроков делят одну вселенную, непрерывно развивающуюся уже более 20 лет. Экономика, управляемая игроками, основана на реальной динамике спроса и предложения и торговых сетях, охватывающих тысячи звёздных систем. Её ландшафт, сформированный альянсами, конфликтами и дипломатией, определяется взаимодействием людей.

Для исследований ИИ это уникальная возможность. Это живой, развивающийся мир, который требует именно тех возможностей, которые мы считаем необходимыми для передового ИИ:

• Непрерывное обучение: приобретение новых навыков без утраты ранее полученных знаний в постоянно меняющемся мире.
• Память: накопление и извлечение знаний на временных масштабах, значительно превосходящих сегодняшние окна контекста моделей.
• Планирование на длительную перспективу: рассуждение на протяжении недель, месяцев и даже лет.
• Сложная динамика взаимодействия множества агентов: управление сотрудничеством, конкуренцией, переговорами, экономикой и возникающим социальным поведением в большом масштабе.

Эти задачи находятся в центре нашей более широкой исследовательской инициативы по созданию систем, которые непрерывно учатся на основе опыта, причём скорость обучения со временем увеличивается. Мы считаем, что эти передовые возможности в будущем смогут открыть новые игровые возможности.

Наше исследовательское партнёрство охватывает расширяющуюся вселенную Fenris Creations, предоставляя разнообразные среды для разработки ИИ. Если EVE Online предлагает масштабную постоянную вселенную с единым игровым шардом, то EVE Vanguard играется от первого лица и привносит в более широкий постоянный мир тактические решения на уровне земли, принимаемые в стремительном темпе. Это создаёт возможности для изучения агентов, действующих на нескольких уровнях абстракции — от тактики, требующей мгновенной реакции, до стратегии галактического масштаба.

Кроме того, EVE Frontier — с её программируемыми «умными сборками» и открытой расширяемой архитектурой — предлагает среду без заранее заданных ограничений, где могут меняться сами правила мира, требуя от агентов адаптации к совершенно новым игровым механикам.

Наше сотрудничество уже принесло игрокам ощутимую пользу: система Aura Guidance использует Gemini для предоставления знаний, созданных игроками на основе реальных вопросов и ответов в разделе помощи новичкам, чтобы помогать новым пилотам.

Наша долгосрочная исследовательская программа начинается с автономного экземпляра EVE Online — безопасной песочницы, отделённой от мира живых игроков. Затем она переходит к EVE Frontier как к пространству для изучения того, как люди и агенты могут сосуществовать в постоянном мире без заранее заданных границ. Только после достижения зрелости соответствующих возможностей мы рассмотрим их внедрение в EVE Online и EVE Vanguard с целью обогатить игровой опыт людей.

Предстоящий путь

Игры всегда были зеркалом интеллекта. По мере того как они становятся сложнее, постояннее и открытее, такими же становятся и создаваемые нами системы ИИ, предназначенные для навигации в них.

Мы стремимся к той же конечной цели, что и всегда: ИИ как катализатор, а не замена человеку. Наша долгосрочная задача — открыть прорывные игровые возможности, сделать игры более доступными и персонализированными и, как мы увидели на примере AlphaGo и AlphaFold, применять знания, полученные в играх, для решения задач реального мира и развития научных открытий.

Мы благодарны всем нашим игровым партнёрам, сопровождающим нас в этом путешествии, и Fenris Creations за участие в следующей главе. Нам не терпится поделиться результатами наших открытий.

Благодарности

Мы хотели бы отметить многочисленные команды Google DeepMind, которые на протяжении многих лет вносили вклад в безопасное и ответственное развитие исследований ИИ в играх.

Особая благодарность всем разработчикам игр, сотрудничавшим с нами: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) и Tuxedo Labs & Saber Interactive (Teardown).