Від Atari до EVE Online: розбудова на основі 15 років досліджень ШІ в іграх

Від Atari до Go та StarCraft — ігри стали рушієм деяких із найбільших проривів у ШІ. Тепер ми співпрацюємо з розробниками ігор, щоб створювати прототипи нових ігрових можливостей, які розширюють межі як ігор, так і ШІ.

Від заснування DeepMind у 2010 році обмежені, але насичені світи ігор відігравали критично важливу роль у розумінні інтелекту. Вони стали рушієм деяких із наших найбільших проривів у ШІ — від опанування Atari до допомоги у розв’язанні завдання передбачення структури білків, — і досі залишаються в центрі нашої роботи.

Ігри закладені в ДНК GDM. Деміс Хассабіс, один із засновників Google DeepMind, сам раніше був розробником ігор, як і багато хто з команди GDM. Разом ми маємо десятиліття практичного досвіду розробки ігор і глибоку повагу до майстерності їхнього створення.

Ми завжди чітко усвідомлювали, що дослідження ШІ за допомогою ігор потребують тісної співпраці з розробниками ігор — як у нашому великому новому дослідницькому партнерстві з Fenris Creations та всесвітом EVE, про яке ми оголосили на початку цього року, так і в роботі, яку ми спільно виконували з відомими студіями, такими як Hello Games, Coffee Stain Studios, Foulball Hangover та іншими.

Ігри як рушій досліджень ШІ

Наша подорож почалася з того, що невелика команда навчила глибоку нейронну мережу грати в ігри Atari 2600 безпосередньо за необробленими пікселями. Deep Q-Network (DQN) навчилася грати в 49 різних ігор — від Pong до Breakout і Space Invaders — без будь-якої спеціалізованої для конкретної гри інженерної роботи. Стаття в Nature за 2015 рік про DQN допомогла започаткувати сучасну еру глибокого навчання з підкріпленням.

Після цього ми спробували опанувати складніші ігри, і кожен етап створював спроможніші та універсальніші системи. AlphaGo перемогла чемпіона світу з Go Лі Седоля у 2016 році — досягнення, яке, на думку багатьох експертів, мало стати можливим лише через десятиліття. AlphaGo Zero перевершила всі попередні версії, навчаючись виключно через самогру, без будь-яких даних від людей. AlphaZero узагальнила цей підхід, щоб опанувати шахи, сьоґі та Go за допомогою одного алгоритму, тоді як MuZero навчилася грати, навіть не знаючи правил. У 2019 році AlphaStar досягла рівня гросмейстера у StarCraft II, орієнтуючись у складному середовищі реального часу та за неповної інформації.

У кожній грі ШІ збагачував ігровий досвід. Знаменитий хід 37 AlphaGo був настільки неочікуваним, що професійні коментатори спочатку вважали його помилкою; він перевернув багатовікові усталені уявлення про Go та надихнув експертів досліджувати нові стратегії. AlphaZero так само надихнула на цілком нові варіанти гри в шахи. Важливо, що дух дослідження, який приніс успіх в іграх, справив глибокий вплив на інші системи ШІ: AlphaFold застосувала ці основи, щоб допомогти розв’язати 50-річне грандіозне завдання передбачення структури білків — прорив, відзначений Нобелівською премією з хімії 2024 року.

Від опанування ігор до їх розуміння

Наша попередня робота продемонструвала, що ШІ може опанувати будь-яку гру за наявності чіткої мети та достатнього навчання. Але реальний світ не має рахунку й книги правил — це підштовхнуло нас поставити принципово інше запитання: чи може ШІ розуміти та взаємодіяти з будь-яким ігровим світом так, як це робила б людина?

Саме це завдання лежить в основі SIMA — нашого масштабованого агента, якого можна інструктувати, для багатьох світів. На відміну від оптимізації високого рахунку, SIMA є універсальним агентом, який «бачить» те, що гравець бачив би на екрані, розуміє інструкції природною мовою та діє за допомогою звичайних клавіатури й миші — без потреби в API чи доступі до вихідного коду.

Працюючи на основі Gemini, наших передових моделей ШІ, SIMA 2 виступає інтерактивним компаньйоном, здатним міркувати та вести розмову в реальному часі. Вона демонструє людиноподібну гру в складних тривимірних дослідницьких середовищах і відеоіграх, зокрема No Man's Sky, Valheim, Hydroneer та інших.

Для розробників ігор справді універсальний ігровий агент відкрив би можливості ШІ, які працюють із наявними іграми — без потреби змінювати ігровий код. Це могло б забезпечити цілком новий ігровий процес: від ШІ-компаньйонів, які по-справжньому розуміють ігровий світ, до неігрових персонажів (NPC), які адаптуються та реагують способами, недоступними для запрограмованих систем.

Універсальний ігровий агент також міг би змінити підхід до створення ігор. Під час розробки, коли гра змінюється з кожним комітом, такі агенти могли б забезпечити справді надійне тестування якості. Після запуску, коли з’являється новий контент або гравці поводяться непередбачувано, вони могли б адаптуватися в реальному часі — узагальнювати нові ситуації без потреби повторно програмувати їхні сценарії.

Щоб безпечно та відповідально розробляти агентів SIMA, ми співпрацюємо з відомими ігровими студіями та створюємо дедалі більший портфель ігор для досліджень ШІ. Це дає змогу випробовувати наших агентів у виконанні дедалі складніших завдань, які одного дня можуть бути перенесені на розв’язання проблем реального світу.

Дослідження нових горизонтів ШІ та ігор у партнерстві з розробниками ігор

Ігрові студії привносять професійну майстерність, надзвичайні ігрові світи та глибоке знання своїх гравців. Ми привносимо передовий ШІ — від Gemini до досліджень генеративних інтерактивних середовищ і втілених агентів, — дослідницьку експертизу, а також унікальний досвід нашої команди у створенні ігор і багаторічний досвід розробки ШІ для інтерактивних середовищ. Разом ми зосереджуємося на пошуку проривних можливостей — небаченого раніше ігрового процесу, який був би неможливим без ШІ.

Йдеться не про технології, а про цікаві враження. Тож у роботі з партнерами ми дотримуємося підходу «покажи, а не розповідай». Наша команда пліч-о-пліч із розробниками ігор досліджує нові ідеї та створює ігрові прототипи, щоб знайти те, що приносить задоволення.

Наше останнє дослідницьке партнерство з Fenris Creations, незалежною студією, що стоїть за всесвітом EVE, відкриває новий розділ в історії наших досліджень ШІ в іграх.

Fenris Creations понад два десятиліття створює один із найвидатніших постійних світів в історії ігор. EVE Online, запущена у 2003 році, є масштабною багатокористувацькою космічною симуляцією, де тисячі гравців спільно існують в одному всесвіті, який безперервно розвивається понад 20 років. Її економіка, керована гравцями, має справжню динаміку попиту й пропозиції та торговельні мережі, що охоплюють тисячі зоряних систем. Її ландшафт, сформований альянсами, конфліктами та дипломатією, визначається взаємодією людей.

Для досліджень ШІ це чудова можливість. Це живий світ, що розвивається та потребує саме тих можливостей, які ми вважаємо необхідними для передового ШІ:

• Безперервне навчання: набуття нових навичок без забування попередніх у світі, що постійно змінюється.
• Пам’ять: накопичення та відтворення знань у часових масштабах, що значно перевищують сьогоднішні контекстні вікна моделей.
• Планування на тривалий горизонт: міркування протягом тижнів, місяців або навіть років.
• Складна динаміка взаємодії багатьох агентів: орієнтування в кооперації, конкуренції, переговорах, економіці та масштабній соціальній поведінці, що виникає.

Ці виклики лежать в основі нашої ширшої дослідницької ініціативи зі створення систем, які безперервно навчаються на досвіді, причому темп навчання з часом прискорюється. Ми вважаємо, що ці передові можливості в майбутньому можуть відкрити нові ігрові враження.

Наше дослідницьке партнерство охоплює всесвіт Fenris Creations, що розширюється, і пропонує різноманітні середовища для розвитку ШІ. Якщо EVE Online являє собою масштабний постійний всесвіт на одному сервері, то в EVE Vanguard гра ведеться від першої особи, додаючи до ширшого постійного світу тактичні рішення на землі в швидкому темпі. Це створює можливості для вивчення агентів, що діють на різних рівнях абстракції — від тактики, яка потребує миттєвої реакції, до стратегії галактичного масштабу.

Крім того, EVE Frontier — із програмованими «розумними конструкціями» та відкритою, розширюваною архітектурою — пропонує середовище без заданих меж, де самі правила світу можуть змінюватися, вимагаючи від агентів адаптації до цілком нових ігрових механік.

Наша співпраця вже принесла реальну користь гравцям: система Aura Guidance використовує Gemini, щоб надавати знання, створені гравцями, на основі реальних запитань і відповідей у розділі допомоги новачкам, допомагаючи новим пілотам.

Наша довгострокова дослідницька програма починається з офлайн-версії EVE Online — безпечної пісочниці, відокремленої від живих гравців. Потім вона переходить до EVE Frontier як простору для вивчення того, як люди та агенти можуть співіснувати у постійному світі без заданих меж. Лише після досягнення зрілості відповідних можливостей ми розглянемо їхнє впровадження в EVE Online та EVE Vanguard з метою збагачення гри людей.

Майбутній шлях

Ігри завжди були дзеркалом інтелекту. Що складнішими, постійнішими та відкритішими вони стають, то такими самими стають і системи ШІ, які ми створюємо для орієнтування в них.

Ми прагнемо тієї самої кінцевої мети, що й завжди: ШІ як каталізатор, а не заміна. Наш довгостроковий задум — відкрити проривні ігрові можливості, зробити ігри доступнішими та більш персоналізованими і — як ми побачили на прикладі AlphaGo та AlphaFold — застосувати те, чого ми навчаємося в іграх, до проблем реального світу та сприяти науковим відкриттям.

Ми вдячні всім нашим ігровим партнерам за цей шлях, а також Fenris Creations за те, що приєдналися до нас у цьому новому розділі. Ми не можемо дочекатися, коли зможемо поділитися своїми відкриттями.

Подяки

Ми хотіли б відзначити численні команди Google DeepMind за їхній внесок протягом багатьох років у безпечний і відповідальний розвиток досліджень ШІ в іграх.

Особлива подяка всім розробникам ігор, які співпрацювали з нами: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) і Tuxedo Labs & Saber Interactive (Teardown).