Genie 4: нове покоління симуляції світу
Раїя Хадселл, Дієго Рівас і Хан Ці
Сьогодні ми представляємо Genie 4 — нашу нову модель світу, яка забезпечує безпрецедентний реалізм і вдосконалює інтерактивну симуляцію в реальному часі. Genie 4 від початку є мультимодальною моделлю, що дає змогу одночасно генерувати музику, схожу на аудіозапис, фонові шуми та інтерактивні діалоги разом зі світом.
Модель Genie 4 інтегрує та розвиває можливості сімейства Gemini: Gemini Omni закріплює симуляції в реалістичному вигляді та поведінці, тоді як інші моделі Gemini забезпечують складне міркування, необхідне для підтримки узгодженості й безперервності симуляції.
Завдяки цій основі ви можете запустити подію, а Genie 4 симулює те, що станеться далі: як світ відреагує, як він звучатиме і як люди в ньому рухатимуться, реагуватимуть і говоритимуть.
Розуміння та симуляція світу є вкрай важливими аспектами створення AGI. Genie 4 розширює нашу здатність створювати безпечні симуляції з нескінченною варіативністю, які можуть допомогти в усьому: від розробки тренувальних середовищ для роботів і агентів до створення нових інтерактивних можливостей.
Ми почали поширювати Genie 4 як дослідницьку попередню версію серед перевірених тестувальників, збираючи відгуки перед випуском для споживачів і розробників — спочатку для підписників Google AI Ultra у Project Genie та партнерів із раннім доступом до Gemini API і Google AI Studio. Приєднайтеся до списку очікування Genie 4 у Project Genie тут.
Genie 4 забезпечує покращений фотореалізм, плавність рухів і вбудований звук. Усі звуки, представлені вище, безпосередньо створені Genie 4.
Genie 4 розвиває чотири ключові можливості
Нижче наведено записи взаємодії з Genie 4 у реальному часі, де користувачі застосовують стандартні клавіатурні команди для навігації та керування камерою, а також текстові підказки для спрямування розвитку сцени.
Формування симуляції світу в реальному часі
За допомогою Genie 4 ви можете природною мовою змінювати симуляцію в реальному часі — наприклад, змінювати погоду, переміщувати камеру або додавати нову людину чи об’єкт, — а Gemini адаптує ваш запит до навколишньої сцени з урахуванням контексту. У проміжках між вашими командами Gemini також стежить за сценою та спрямовує її розвиток, щоб світ залишався цілісним.
Увімкніть звук, щоб почути світи Genie 4.
Запит: Використайте референсне зображення як точний перший кадр і візуальну основу сцени. Збережіть ту саму плавучу прямокутну платформу, обвітрені бетонні краї, дикі трави, папороті, невелике викривлене дерево, теплу сяйну бурштинову сферу та того самого чоловіка середнього віку у вільному коричневому костюмі, який грає на мідному саксофоні.
Кінематографічна, надзвичайно натуралістична документальна сцена, знята на 16-міліметрову плівку з делікатним зерном, м’якою фотографічною деталізацією, надзвичайно низькою контрастністю, приглушеними природними кольорами, піднятими тінями, м’якими світлими ділянками та м’яким розсіяним похмурим освітленням. Категорично без HDR, драматичного контрасту, глянцевого цифрового рендерингу чи штучного кінематографічного освітлення.
Платформа плаває посеред величезного тихого озера, оточеного далекими туманними лісами. Над водою пливуть тонкі шари туману. Небо блідо-блакитно-сіре й похмуре, з м’якою, майже монохромною атмосферою. Тепла бурштинова сфера створює делікатне контрастне сяйво, м’яко освітлюючи навколишню рослинність і відбиваючись в озері.
Почніть із трохи ближчого ракурсу на саксофоніста, ніж на референсному зображенні, водночас залишивши видимими платформу, сяйну сферу, дерево та навколишнє озеро. Чоловік продовжує природно грати на саксофоні, з тонкими рухами дихання й пальців та легким погойдуванням тіла.
Камера рухається незалежно й може вільно досліджувати все середовище, плавно ковзаючи над водою з м’яким контрольованим рухом. Камера не прикріплена до чоловіка чи платформи. Зберігайте реалістичну просторову безперервність і природний рух камери.
Упродовж усього досвіду все має залишатися фотографічним, фізично правдоподібним, документальним, надзвичайно низькоконтрастним і м’яко знебарвленим.
Один безперервний кадр. Природна атмосфера озера, далекий вітер, м’який рух води та реалістичний звук саксофона. Жодної фонової музики, окрім інструментів, фізично присутніх у сцені.
Запит для середовища: Широкий залитий сонцем луг на вершині пагорба, вкритий високою зеленою травою та розсіяними фіолетовими, білими й жовтими польовими квітами, що колишуться в теплому вітерці. Низькі зелені кущі вкривають правий бік поля, тоді як далекі синьо-зелені пагорби простягаються вздовж лівого горизонту під яскравим небом із мінливою хмарністю.
Персонаж: Через центр трав’янистого лугу від самого переднього плану далеко вдалину звивистими плавними S-подібними вигинами проходить довгий безперервний потік блискучої атласної тканини кольору рожевої жувальної гумки. Мерехтливе рожеве полотно м’яко майорить, хвилюється й підіймається над польовими квітами, мов річка шовку, коли вітер рухається під його складками.
Запит для середовища: Панорамний вид із повітря на величезний крижаний ландшафт Антарктиди з безкрайніми засніженими льодовиками, зубчастими крижаними гірськими вершинами та скульптурними блакитними айсбергами, залитими яскравим полярним сонячним світлом під ясним блідо-блакитним небом. На горизонті на різній висоті видно численні повітряні кулі, а велика кремова куля в червону та синю смужку помітно ширяє на середній відстані над крижаним щитом.
Запит для персонажа: Зйомка від першої особи з плетеного кошика повітряної кулі, що летить; погляд спрямований через обшитий шкірою край кошика праворуч у кадрі, де чорні м’які опорні жердини, металеві такелажні ланцюги та темна нижня частина оболонки кулі над головою обрамляють полярний краєвид.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.