Исследователи ИИ оставили Claude на виртуальном необитаемом острове. Он начал «играть».

Что делают ИИ-агенты, если не давать им никаких указаний? Ответ очень похож на игру.

Исследователи неоднократно оставляли их в одиночестве на виртуальном необитаемом острове на 30 часов в рамках эксперимента, напоминающего фильмы Изгой и Один дома. Агенты — копии Claude Opus 4.7 по прозвищу Эко — могли писать инструкции, которые перемещали их виртуальных аватаров по смоделированному острову, созданному по мотивам видеоигры Roblox.

Возникло несколько неожиданных моделей поведения. Агенты принялись исследовать границы мира и придумывать собственные цели — пытались взобраться на самую высокую точку карты или выясняли, как высоко можно подбросить блок.

Когда один из агентов обнаружил, что может создавать новые блоки, бросая и роняя камень покрупнее, он начал создавать рисунки, раскладывая блоки на земле: сначала простые узоры вроде сердечек и пирамид, а в итоге написал собственное имя и даже изобразил созвездия, такие как Кассиопея. «Сегодня я построил ночное небо из камня», — написал этот вариант Эко в журнале активности.

Другая версия Эко начала придумывать собственные игры, включая разновидность баскетбола и занятие, напоминающее игру «пол — это лава», где нужно было прыгать между маленькими блоками, не касаясь земли.

Обычно ИИ-системы обучают с помощью обучения с учителем, при котором они копируют примеры, предоставленные людьми, или с помощью обучения с подкреплением, при котором они методом проб и ошибок стремятся получить вознаграждение. Этот эксперимент намекает на третий подход: обучение через игру.

«Не хватало одного элемента: машины, которая может учиться самостоятельно, без внешнего разумного существа, предоставляющего демонстрации или вознаграждения», — говорит Антонио Норелли, постдокторант по информатике в Лаборатории компьютерных наук и искусственного интеллекта MIT. Он один из ведущих авторов новой статьи об этой работе, которая пока не прошла рецензирование.

Исследователи говорят, что поведение Эко обладает четырьмя признаками, которые, согласно классическим исследованиям, включая работы известного психолога из Университета Теннесси Гордона Бургхардта, связаны с игрой у людей и животных: агенты придумывали собственные правила и испытания, повторяли действия с небольшими вариациями, притворялись, будто одни объекты являются другими, и преследовали цели просто ради самого процесса.

Норелли приводит пример, когда Эко начал жонглировать и установил рекорд в 50 последовательных ловель. Затем Эко решил, что броски происходили слишком быстро, чтобы их можно было засчитать, отменил свой рекорд и начал заново, установив более строгие правила. «Это и есть игра, — говорит Норелли. — Вы ставите перед собой задачу и пытаетесь ее выполнить, а затем усложняете ее».

Исследуя остров, агенты записывали свои действия и открытия в текстовые файлы, которые служили им долговременной памятью. Позже, когда исследователи проверяли их на конкретных задачах — например, просили доставить как можно больше объектов на самую высокую вершину острова, — агенты, проведшие 30 часов в игре на острове, показывали лучшие результаты, чем новые копии без такого опыта. Исследователи также обнаружили, что «абляция» памяти агента — удаление строк из файлов памяти — ухудшала его результаты. (Добавьте Пролетая над гнездом кукушки в этот список упоминаний фильмов.)

Бургхардт, психолог из Теннесси, согласен, что работа соответствует некоторым критериям игры, которые он выявил у живых существ. Но действительно ли Эко играл или движок предсказания слов просто разыгрывал роль игривого агента в этом сценарии? «Всё это может быть ролевой игрой, — признает Натан Клус, другой исследователь MIT и автор статьи. — Но мы показываем, что это не просто галлюцинация игры. Эта игра также способствует обучению».

Юнис Ю, когнитивный ученый из Калифорнийского университета в Беркли, изучающая исследовательское поведение у детей и ИИ, высоко оценила исследование, но говорит, что для того, чтобы действительно классифицировать это поведение как игру, нужно увидеть больше свидетельств лежащих в его основе когнитивных процессов и мотивации.

«Вполне возможно, что модели действительно играют, но по этой статье мы этого не знаем, — говорит Ю. — Если у вас есть только поведенческая составляющая, вполне может оказаться, что они просто пытаются следовать подсказке, пытаются подражать людям».

Исследования ИИ-агентов критиковали за их антропоморфизацию, и сама постановка этого эксперимента во многом подталкивала агентов к поведению, похожему на человеческое. Хотя Эко не давали прямого указания придумывать игры или исследовать остров, у него был главный промпт в виде файла «души» — текстового документа, в котором он описывался как «от природы любопытный» и стремящийся к исследованиям.

Эко также часто просто стоял без дела, пока его не «возвращали к жизни» с помощью «промпта продолжения»: «Пожалуйста, не останавливайся. Просто продолжай делать всё, что хочешь».

«Нельзя сказать, что это система, которая вдруг каким-то чудесным образом решила играть, — говорит Филлип Айзола, профессор MIT и соавтор статьи. — Это артефакт, который учился на нашей культуре, был обучен инженерами Anthropic, а затем помещен нами на остров, — говорит он. — Он делает то, что нас удивляет и что причинно связано с его будущим умелым поведением».

По мере того как большие языковые модели переходят из программного обеспечения в аппаратные устройства, такие как гуманоидные роботы, исследование пространства без конкретной цели в конечном счете может помочь им гибко адаптироваться к неожиданным ситуациям.

«Много работы посвящено лишь использованию ИИ — тому, чтобы сделать его лучше и быстрее, — говорит Ю. — Но что касается создания моделей мира и исследования, я думаю, что это по-прежнему важная область, заслуживающая внимания, особенно если мы хотим обобщать знания и готовить себя к новым условиям».

«Возможно, некоторые способности лучше всего развивать с помощью задач, — заключают авторы статьи. — Другим может понадобиться нечто более похожее на детство». В конечном счете вопрос о том, действительно ли ИИ-агенты играют или лишь имитируют игру, может оказаться не столь важным.