Genie 4 от Google DeepMind по-новому осмыслил дизайн агентов, появившийся до эпохи LLM

Genie 4 должна в реальном времени моделировать интерактивные миры, включая звуки и говорящих персонажей. Модели Gemini планируют в фоновом режиме, что произойдёт дальше в симуляции. Пока опробовать модель мира могут только избранные тестировщики.

Google Deepmind представила Genie 4, преемницу Genie 3, которую компания демонстрировала в августе 2025 года. Модель мира не создаёт готовые видео, а рассчитывает сцену кадр за кадром, реагируя на ввод по мере его поступления. Пользователи перемещаются по сцене с помощью клавиатуры и управляют событиями с помощью текстовых запросов.

По данным Deepmind, Genie 4 — первая модель мира компании, которая напрямую генерирует звук в реальном времени. Компания утверждает, что у каждого мира есть собственное фоновое аудио, например шелест ветра в деревьях. Genie 4 также обрабатывает диалоги: персонажи должны разговаривать друг с другом и в реальном времени реагировать на ввод пользователя или события.

Deepmind видит наибольший прирост реалистичности в том, как модель отображает людей. Персонажи должны двигаться естественно и реагировать на окружающую обстановку, а пользователи должны иметь возможность напрямую ими управлять.

Модели Gemini планируют наперёд, чтобы сохранять целостность мира

По данным Deepmind, Genie 4 использует возможности видеомодели Gemini Omni, благодаря чему мир выглядит и ведёт себя реалистично. Другие модели Gemini помогают планировать симуляцию, чтобы сохранять её последовательность.

Если пользователь меняет погоду с помощью текстового запроса, Gemini должна адаптировать инструкцию к текущей сцене. Deepmind заявляет, что Gemini также управляет событиями между вводом данных, благодаря чему мир продолжает развиваться логичным образом.

Deepmind объясняет этот процесс на примере многоэтапных задач. Gemini 3.8 Flash непрерывно наблюдает за сценой, разбивает цель на этапы и использует новые кадры, чтобы проверить, сработал ли каждый из них. Если мир меняется или пользователь вмешивается, модель корректирует свой план.

Deepmind также тестирует Gemini 4 Argon, чтобы связать работу над Genie со своими исследованиями в области робототехники — Gemini Robotics. В одной из демонстраций Argon разбивает задачу игры в шашки на этапы. Genie 4 получает их в виде текстовых инструкций и использует их для симуляции игры в шашки, в которую играет гуманоидный робот Apollo компании Apptronik, без участия реального робота.

Длительные сессии по-прежнему ставят модель в тупик

Deepmind называет Genie 4 ранней экспериментальной моделью. По данным компании, мир сохраняет целостность на протяжении коротких сессий, но в более длительных симуляциях или после нескольких сложных изменений запросов визуальные детали могут меняться, а объекты не всегда сохраняются.

Deepmind заявляет, что по-прежнему исследует сложные физические взаимодействия, точное воспроизведение звука в реальном времени и читаемый текст.

Пока Genie 4 доступна только избранным тестировщикам в рамках исследовательской предварительной версии. Вскоре она станет доступна подписчикам Google AI Ultra в веб-приложении Project Genie, а также партнёрам, получившим ранний доступ к Gemini API и Google AI Studio.

Google заявляет, что все видео и аудиодорожки будут содержать водяной знак SynthID, который незаметно помечает контент, созданный ИИ.

После того как они достигнут зрелости, модели мира могут использоваться как среды обучения, где роботы и ИИ-агенты учатся на смоделированном опыте, а не только на данных. Deepmind рассматривает объединение Gemini и Genie как первый шаг к гибридным моделям мира, сочетающим способность языковых моделей и моделей кода рассуждать с попиксельной симуляцией.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ и наш эксклюзивный аналитический отчёт о передовых разработках «AI Radar» шесть раз в год, иметь полный доступ к архиву и разделу комментариев.