Цей підприємець у сфері ШІ розробляє агентів, здатних заздалегідь планувати на випадок непередбачуваного

Офіс Даніджара Хафнера в районі Сома в Сан-Франциско здебільшого порожній. Його новенький стартап досі працює в режимі стелс і навіть не має своєї назви на дверях. У день мого візиту там є лише одна інша людина, та й меблів майже немає. Але те, чого офісу бракує в оздобленні, він компенсує роботами. Гуманоїди різних форм і розмірів висять, мов маріонетки, на стелажах, що тягнуться центром просторого відкритого приміщення.

Хоча 31-річний Хафнер поки що не надто багато розповідає про своє нове підприємство, він описує його як продовження своєї багаторічної роботи, спрямованої на те, щоб дати ШІ змогу орієнтуватися в середовищах, з якими він не стикався під час навчання. Гуманоїди, яких він імпортує з Китаю, є наступним етапом цієї роботи — і її фізичним втіленням. Їхня здатність реагувати на раніше не перевірені сценарії буде ключовою для того, щоб роботи могли працювати в людському середовищі. Адже якщо ви хочете відправити робота, наприклад, до чийогось дому, він має вміти давати раду з плануванням помешкання та меблями, яких ніколи раніше не бачив. 

Щоб досягти цього, Хафнер покладається на те, що називається навчанням із підкріпленням на основі моделі. Він розробляє моделі світу — моделі ШІ, призначені для імітації фізичної реальності, — і навчає в них агентів. Агент фактично сприймає модель як симуляцію реального світу й навчається діяти в ній. Потім він використовує цей досвід, щоб робити передбачення (або мріяти чи уявляти, як міг би сказати Хафнер) про майбутні результати. Це дає агентам — або роботам, у яких вони втілені, — змогу орієнтуватися в незнайомих ситуаціях у реальному світі.

«Я маю можливість взаємодіяти з багатьма справді розумними людьми, які займаються дослідженнями в Google, і він безперечно входить до найкращих 0,5%.»

Тімоті Лілікреп, Google DeepMind

На відміну від інших підходів, методика Хафнера дає агентам і роботам, якими вони керують, змогу виконувати надзвичайно складні завдання без навчання методом проб і помилок у реальному світі, яке традиційно використовували в робототехніці. 

Хафнер виріс у сільському містечку на північному сході Німеччини, де обоє його батьків були класичними музикантами. Програмування він опанував завдяки сусідові, а в старших класах почав проходити онлайн-курси зі ШІ, які швидко переросли в захоплення. «Мене завжди захоплювало те, як працює мислення», — каже він. ШІ дав йому змогу відтворити цей процес на комп’ютері.

У 2015 році, навчаючись на другому курсі інженерної спеціальності в Інституті Гассо Платтнера в Потсдамі, він отримав посаду студента-дослідника в Google Brain. Згодом він пройшов близько десятка стажувань і обіймав інші посади в компанії, зокрема працював у Google Brain і Google DeepMind (відтоді ці два підрозділи об’єднали під брендом DeepMind) у Великій Британії, Канаді та США. Він працював із легендами індустрії, зокрема з Джеффрі Гінтоном, якого часто називають одним із хрещених батьків ШІ, та Ашишем Васвані, співавтором новаторської наукової статті «Attention Is All You Need», у якій було описано технологію трансформерів, що використовується в сучасних великих мовних моделях.

Один із колишніх керівників і співавторів Хафнера в Google, Тімоті Лілікреп, називає його видатним серед видатних. «Я маю можливість взаємодіяти з багатьма справді розумними людьми, які займаються дослідженнями в Google, і він безперечно входить до найкращих 0,5%», — каже Лілікреп. «У багатьох випадках він самотужки створював те, на розробку чого цілим командам інженерів знадобився б час».

Протягом років Хафнер удосконалював і доводив свій підхід, зіштовхуючи агентів, навчених у його моделях світу, з популярними відеоіграми. Його першим проривом стала PlaNet — модель, яка давала агентам змогу виконувати дії, плануючи їх наперед. Його Dreamer 2 став першим агентом, який досяг людського рівня гри в ігри Atari 2600 за допомогою моделі світу. Dreamer 3 першим виконав завдання з видобутку алмазів у Minecraft — самостійно добувши ігрові дорогоцінні камені. А Dreamer 4 пішов іще далі: він навчився видобувати алмази з офлайн-набору даних із записаними відео ігрового процесу, жодного разу не взаємодіючи з грою безпосередньо. 

Останнім часом він почав переносити своїх агентів із віртуального світу у фізичну реальність. У його проєкті DayDreamer алгоритм Dreamer використовувався для того, щоб роботи могли самостійно працювати в нових середовищах і реагувати на новий досвід (наприклад, коли їх штовхають і вони падають) без спеціального навчання. 

Сьогодні Хафнер працює над своїм новим стартапом, який він залишив Google DeepMind, щоб заснувати восени 2025 року. Хоча він ухильно говорить про свої наступні кроки, очевидно, що він мріє про велике: «Мене цікавило розв’язання проблеми, — натякає він, — яка змінила б світ».