Мировая модель Genie 4 от Google получила аудио, более реалистичные миры и управление в реальном времени

Google DeepMind представила свою новейшую модель мира Genie 4 в исследовательском режиме во вторник. Новейшая модель создает самые фотореалистичные и интерактивные миры из когда-либо существовавших, позволяя пользователям вводить подсказки прямо во время симуляции, чтобы изменять сцену. Модель также генерирует аудио в реальном времени, соответствующее симулируемому миру, включая музыку, окружающие звуки и интерактивные диалоги.

Релиз Genie 4 состоялся через пару месяцев после того, как стартап в сфере ИИ-видео Runway выпустил свою вторую модель мира — GWM Worlds 2, игровую модель, которая динамически реагирует на действия пользователя и включает генерацию аудио. Тем временем индустрия моделей мира начинает консолидироваться. World Labs Фэй-Фэй Ли будет приобретена AMD, Amazon ведет переговоры о покупке Decart, а Rivian недавно приобрела Third Dimension, чтобы внедрить возможности симуляции для испытаний беспилотного вождения внутри компании. 

Genie 4 — последний шаг Google, направленный на то, чтобы удержать лидерство в переполненной конкурентами сфере. 

Google выпустила свою предшественницу Genie 3 в исследовательском режиме чуть больше года назад. Помимо значительно большей фотореалистичности и поддержки аудио, Genie 4 позволяет вносить произвольные изменения — например, менять погоду или угол обзора камеры в реальном времени, а также добавлять новых людей или объекты. Она способна сохранять согласованность сцены до двух минут — вдвое дольше предшественницы, — и предлагает более реалистичную физику и персонажей, похожих на людей. 

Gemini, модель ИИ от Google, также теснее интегрирована с Genie 4 и выступает в роли режиссера: планирует шаги и проверяет кадры, пока Genie создает визуальные элементы. В рамках исследовательского эксперимента, связанного с Gemini Robotics, модель Gemini 4 Argon разбила задачи на шаги, которые Genie 4 симулировала в реальном времени. Эксперимент демонстрирует возможный способ тестировать сценарии с роботами в симуляции до их реализации в реальном мире.

«В будущем мы все чаще будем видеть эти гибридные модели мира, в которых сочетаются Gemini, пишущая код и текст, и Genie, которая в реальном времени обрабатывает их и симулирует реальность на разных уровнях абстракции», — заявил Теджас Кулкарни, директор по исследованиям в Google, во время брифинга. 

Как и в случае с другими моделями мира, заявленные коммерческие варианты применения включают игры, интерактивное обучение и робототехнику. Одним из гипотетических примеров интерактивного обучения может быть загрузка картины с изображением исторической сцены и беседа с ее персонажами о запечатленном событии.

Однако «доверенные тестировщики» — люди, которые первыми получают доступ к передовым продуктам Google, — указывают на возможный новый вариант применения: прототипирование фильмов.

«Аспект работы в реальном времени становится наиболее ценным в тех областях, где невероятно полезно сохранять состояние творческого потока, — заявил инженер Google DeepMind Диего Ривас во время пресс-брифинга. — Например, на этапе разработки идей, раскадровки — в любой момент, когда вам нужна быстрая генерация идей».

Google также предлагает Veo — свою модель генерации видео с помощью ИИ, которая создает видеоклипы высокой четкости со встроенным синхронизированным аудио на основе текстовых, графических или видеоподсказок, — инструмент, набирающий популярность среди кинематографистов. 

Ривас добавил, что в конечном счете пользователи смогут полагаться на Gemini Omni — мультимодальную большую языковую модель, способную создавать видео из изображений, аудио и текста, — чтобы превращать эти прототипы в творческие материалы. Однако, по его словам, до появления таких возможностей еще далеко.  

На протяжении всего брифинга Ривас подчеркивал, что Genie 4 все еще находится на ранней стадии разработки и пока неясно, каким будет конечный пользовательский опыт при работе с продуктом. Команда также признала, что у Genie 4 по-прежнему есть пробелы: чем дольше длится симуляция, тем сильнее могут изменяться детали и объекты, а разработчикам пока не удалось до конца решить проблему точности аудио и обеспечить разборчивость текста внутри виртуального мира. 

Genie 4 уже доступна в исследовательском режиме для доверенных тестировщиков. В ближайшие недели модель станет доступна подписчикам Google AI Ultra в Project Genie — инструменте Google на базе ИИ для создания интерактивных миров из текстовых или графических подсказок, — а также партнерам с ранним доступом к Gemini API и Google AI Studio.