От Atari до EVE Online: надграждане върху 15 години изследвания на ИИ в игрите

От Atari до Go и StarCraft, игрите са в основата на някои от най-големите пробиви в изкуствения интелект. Сега си партнираме с разработчици на игри, за да създаваме прототипи на нови игрови изживявания, които разширяват границите както на игрите, така и на изкуствения интелект.

От създаването на DeepMind през 2010 г. ограничените, но богати светове на игрите играят критична роля в разбирането на интелигентността. Те са в основата на някои от най-големите ни пробиви в областта на изкуствения интелект — от овладяването на Atari до подпомагането на решаването на проблема с предсказването на структурата на протеините — и продължават да бъдат в центъра на работата ни.

Игрите са в ДНК-то на GDM. Демис Хасабис, един от основателите на Google DeepMind, самият той е бивш разработчик на игри, както и много от нас в екипа на GDM. Заедно имаме десетилетия практически опит в разработването на игри и дълбоко уважение към майсторството, необходимо за създаването им.

Винаги сме били ясни, че изследванията на изкуствения интелект с игри изискват дълбоко партньорство с разработчиците на игри — като например голямото ни ново изследователско партньорство с Fenris Creations и вселената на EVE, което представихме по-рано тази година, както и съвместната ни работа с утвърдени студиа като Hello Games, Coffee Stain Studios, Foulball Hangover и други.

Игрите като двигател на изследванията в областта на изкуствения интелект

Нашето пътешествие започна, когато малък екип обучи дълбока невронна мрежа да играе игри за Atari 2600 директно от необработени пиксели. Deep Q-Network (DQN) се научи да играе 49 различни игри — от Pong до Breakout и Space Invaders — без специфично за игрите инженерно проектиране. Статията в Nature от 2015 г. за DQN помогна да се постави началото на съвременната ера на дълбокото обучение с подсилване.

Оттам нататък се опитахме да овладеем по-сложни игри, като всеки етап водеше до по-способни и по-универсални системи. AlphaGo победи световния шампион по Go Ли Седол през 2016 г. — постижение, което много експерти смятаха, че е все още на десетилетие разстояние. AlphaGo Zero надмина всички предишни версии, като се обучаваше изцяло чрез самостоятелна игра, без никакви човешки данни. AlphaZero обобщи този подход, за да овладее шах, шоги и Go с един алгоритъм, докато MuZero се научи да играе, без дори да познава правилата. През 2019 г. AlphaStar достигна ниво на гросмайстор в StarCraft II, справяйки се със сложността в реално време и непълната информация.

При всяка игра изкуственият интелект обогатяваше игровото изживяване. Прочутият ход 37 на AlphaGo беше толкова неочакван, че професионалните коментатори първоначално го сметнаха за грешка — той преобърна векове установена мъдрост в Go и вдъхнови експерти да изследват нови стратегии. AlphaZero по подобен начин вдъхнови изцяло нови ходове в шаха. От решаващо значение е, че духът на изследване, който доведе до успех в игрите, оказа дълбоко въздействие върху други системи с изкуствен интелект: AlphaFold приложи тези основи, за да помогне за решаването на 50-годишното голямо предизвикателство, свързано с предсказването на структурата на протеините — пробив, който беше признат с Нобеловата награда за химия за 2024 г.

От овладяването на игрите към разбирането им

Предишната ни работа показа, че изкуственият интелект може да овладее всяка игра, ако разполага с ясна цел и достатъчно обучение. Но реалният свят не идва с резултати и книги с правила — което ни накара да зададем фундаментално различен въпрос: може ли изкуственият интелект да разбира и взаимодейства с всеки игрови свят по начина, по който би го направил човек?

Това е предизвикателството зад SIMA, нашия мащабируем агент за инструктиране в множество светове. Вместо да се оптимизира за висок резултат, SIMA е универсален агент, който „вижда“ това, което играчът би видял на екрана, разбира инструкции на естествен език и действа чрез обичайни клавиатура и мишка — без да изисква API или достъп до изходния код.

Захранван от Gemini, нашите авангардни модели на изкуствен интелект, SIMA 2 действа като интерактивен спътник, способен на разсъждение и разговори в реално време. Той постига игра, подобна на човешката, в сложни 3D изследователски среди и видеоигри, включително No Man's Sky, Valheim, Hydroneer и други.

За разработчиците на игри един наистина универсален игрови агент би отключил възможности на изкуствения интелект, които работят със съществуващите игри — без да са необходими промени в кода на играта. Това би могло да даде възможност за изцяло нов геймплей — от спътници с изкуствен интелект, които наистина разбират игровия свят, до неигрови персонажи (NPC), които се адаптират и реагират по начини, недостижими за скриптираните системи.

Универсалният игрови агент би могъл също да преобрази начина, по който се създават игрите. По време на разработката, когато играта се променя с всеки комит, такива агенти биха могли да осигурят наистина надеждно тестване на качеството. След премиерата, когато се въвежда ново съдържание или играчите се държат непредвидимо, те биха могли да се адаптират в реално време — да обобщават наученото за нови ситуации, без да е необходимо повторно скриптиране.

За да разработваме агентите SIMA безопасно и отговорно, си партнираме с утвърдени студиа за игри и изграждаме разрастващо се портфолио от игри за изследвания в областта на изкуствения интелект. Това ни позволява да подлагаме агентите си на все по-сложни задачи, които един ден може да се прехвърлят към решаването на проблеми в реалния свят.

Изследване на нови граници в изследванията на изкуствения интелект и игрите в партньорство с разработчици на игри

Студиата за игри носят експертно майсторство, необикновени игрови светове и задълбочено познаване на своите играчи. Ние предоставяме авангардни технологии за изкуствен интелект — от Gemini до изследвания на генеративни интерактивни среди и въплътени агенти — изследователски опит, както и уникалния опит на екипа ни в разработването на игри и дългогодишния ни опит в изграждането на изкуствен интелект за интерактивни среди. Заедно се фокусираме върху откриването на пробивни изживявания — невиждан досега геймплей, който не би бил възможен без изкуствен интелект.

Въпросът не е в технологията, а в забавните изживявания. Затова с партньорите си прилагаме подхода „покажи, не разказвай“. Екипът ни работи ръка за ръка с разработчиците на игри, изследва нови идеи и създава прототипи, които могат да се играят, за да открие забавната страна.

Най-новото ни изследователско партньорство с Fenris Creations, независимото студио зад вселената на EVE, представлява нова глава в историята на изследванията ни на изкуствения интелект в игрите.

Fenris Creations прекара повече от две десетилетия в изграждането на един от най-необикновените постоянни светове в игрите. EVE Online, стартирала през 2003 г., е космическа симулация за масова мултиплейър игра, в която хиляди играчи споделят една вселена, развиваща се непрекъснато повече от 20 години. Икономиката ѝ, задвижвана от играчите, включва реална динамика на търсенето и предлагането и търговски мрежи, простиращи се през хиляди звездни системи. Пейзажът ѝ — оформен от съюзи, конфликти и дипломация — се движи от човешкото взаимодействие.

За изследванията на изкуствения интелект това е златна възможност. Това е жив, развиващ се свят, който изисква именно способностите, които смятаме за съществени за авангардния изкуствен интелект:

• Непрекъснато обучение: придобиване на нови умения, без да се забравя наученото преди, в постоянно променящ се свят.
• Памет: натрупване и извличане на знания в мащаби от време, които далеч надхвърлят днешните контекстни прозорци на моделите.
• Планиране с дълъг хоризонт: разсъждение за периоди от седмици, месеци или дори години.
• Сложна динамика между множество агенти: ориентиране в сътрудничество, конкуренция, преговори, икономика и възникващо социално поведение в голям мащаб.

Тези предизвикателства са в основата на по-широката ни изследователска инициатива за създаване на системи, които се учат непрекъснато от опита, като скоростта на учене се ускорява с течение на времето. Вярваме, че тези авангардни способности биха могли да отключат нови игрови изживявания в бъдеще.

Изследователското ни партньорство обхваща разширяващата се вселена на Fenris Creations и предлага различни среди за разработване на изкуствен интелект. Докато EVE Online предлага мащабна постоянна вселена с единен шард, EVE Vanguard се играе от гледна точка от първо лице, като добавя тактическо вземане на решения на наземно ниво и с бързо темпо към по-широкия постоянен свят. Това създава възможности за изследване на агенти, работещи на множество нива на абстракция — от тактика на ниво рефлекси до стратегия, обхващаща цяла галактика.

Освен това EVE Frontier — със своите програмируеми „Smart Assemblies“ и отворената си, разширяема архитектура — предлага среда с отворен край, в която самите правила на света могат да се променят, изисквайки агенти, които се адаптират към изцяло нови игрови механики.

Сътрудничеството ни вече донесе реална стойност за играчите: системата Aura Guidance използва Gemini, за да предоставя знания, генерирани от играчите, въз основа на реални въпроси и отговори от Rookie Help, с цел да помага на новите пилоти.

Дългосрочната ни изследователска програма започва с офлайн инстанция на EVE Online, която представлява безопасен пясъчник, отделен от живите играчи. След това преминава към EVE Frontier като пространство за изследване на начина, по който хора и агенти могат да съжителстват в постоянен и отворен свят. Едва когато способностите достигнат необходимата зрялост, бихме обмислили въвеждането им в EVE Online и EVE Vanguard с цел обогатяване на човешката игра.

Пътят напред

Игрите винаги са били огледало на интелигентността. С нарастването на тяхната сложност, постоянство и отвореност се развиват и системите с изкуствен интелект, които изграждаме, за да се ориентират в тях.

Стремим се към същата крайна цел, към която винаги сме се стремили: изкуственият интелект да бъде катализатор, а не заместител. Дългосрочната ни амбиция е да отключим пробивни игрови изживявания, да направим игрите по-достъпни и по-персонализирани и — както видяхме при AlphaGo и AlphaFold — да приложим наученото от игрите към проблеми в реалния свят и да насърчим научните открития.

Благодарни сме на всички наши партньори от света на игрите за това пътуване, както и на Fenris Creations, че се присъедини към нас в тази следваща глава. Нямаме търпение да споделим какво ще открием.

Благодарности

Бихме искали да отдадем признание на многобройните екипи в Google DeepMind за приноса им през годините към безопасното и отговорно развитие на изследванията на изкуствения интелект в игрите.

Специални благодарности на всички разработчици на игри, които си партнираха с нас: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Fenris Creations (EVE Online, EVE Vanguard, EVE Frontier), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) и Tuxedo Labs & Saber Interactive (Teardown).