Genie 4: Ново поколение симулация на света
Raia Hadsell, Diego Rivas и Hang Qi
Днес обявяваме Genie 4, нашия нов световен модел, който осигурява безпрецедентен реализъм и подобрява интерактивната симулация в реално време. Genie 4 е мултимодален по природа, което позволява едновременното генериране на музика, подобна на аудио, околни шумове и интерактивен диалог заедно със света.
Моделът Genie 4 включва и надгражда възможностите на семейството Gemini: Gemini Omni закрепва симулациите към реалния външен вид и поведение на света, докато други модели Gemini осигуряват сложното разсъждение, необходимо за поддържане на съгласуваността и последователността на симулацията.
С тази основа можете да задействате дадено събитие, а Genie 4 симулира какво се случва след това: как реагира светът, как звучи и как хората в него се движат, реагират и говорят.
Разбирането и симулирането на света е ключов аспект от създаването на AGI. Genie 4 развива способността ни да създаваме безопасни, безкрайно разнообразни симулации, които могат да помогнат с всичко — от разработването на тренировъчни среди за роботи и агенти до създаването на нови интерактивни изживявания.
Започнахме да предоставяме Genie 4 като изследователски преглед на доверени тестери — събираме обратна връзка, преди да го предоставим на потребители и разработчици, като започнем с абонатите на Google AI Ultra в Project Genie и партньорите с ранен достъп до Gemini API и Google AI Studio. Присъединете се към списъка с чакащи за Genie 4 в Project Genie тук.
Genie 4 осигурява подобрен фотореализъм, плавно движение и естествено аудио. Всички съпътстващи звуци, представени по-горе, са произведени директно от Genie 4.
Genie 4 развива четири ключови възможности
Следващите записи показват взаимодействия с Genie 4 в реално време, при които потребителите използват стандартни клавиатурни контроли за навигация и управление на камерата, както и текстови подкани, за да насочват сцената, докато тя се развива.
Оформяне на световната симулация в реално време
С Genie 4 можете да използвате естествен език, за да променяте симулацията в реално време — например да промените времето, да преместите камерата или да добавите нов човек или обект — а Gemini ще адаптира контекстуално подканата ви, така че да съответства на заобикалящата сцена. Между вашите действия Gemini също следи и насочва сцената, за да поддържа света в съгласувано развитие.
Включете аудиото, за да чуете световете на Genie 4.
Подкана: Използвайте референтното изображение като точен първи кадър и визуална основа за сцената. Запазете същата плаваща правоъгълна платформа, изветрелите бетонни ръбове, дивите треви, папратите, усуканото малко дърво, топлата светеща кехлибарена сфера и същия мъж на средна възраст в широк кафяв костюм, който свири на месингов саксофон.
Кинематографична, изключително натуралистична документална сцена, заснета на 16-милиметров филм с фино зърно, меки фотографски детайли, изключително нисък контраст, приглушени естествени цветове, повдигнати сенки, нежни светли участъци и мека, дифузна облачна светлина. Абсолютно никакъв HDR, драматичен контраст, лъскаво цифрово изобразяване или изкуствено кинематографично осветление.
Платформата плува в средата на vastо, тихо езеро, заобиколено от далечни мъгливи гори. Над водата се носят тънки слоеве мъгла. Небето е бледосиньо-сиво и облачно, с мека, почти монохромна атмосфера. Топлата кехлибарена сфера осигурява деликатно контрастиращо сияние, което меко осветява заобикалящата растителност и се отразява в езерото.
Започнете с малко по-близък изглед към саксофониста в сравнение с референтното изображение, като платформата, светещата сфера, дървото и заобикалящото езеро останат видими. Мъжът продължава да свири естествено на саксофона си, с леко дишане, движения на пръстите и нежно поклащане на тялото.
Камерата се движи независимо и може свободно да изследва цялата среда, плъзгайки се плавно над водата с нежно, контролирано движение. Камерата не е прикрепена към мъжа или платформата. Поддържайте реалистична пространствена последователност и естествено движение на камерата.
Всичко трябва да остане фотографско, физически достоверно, документално, с изключително нисък контраст и меко десатурирано през цялото изживяване.
Един непрекъснат кадър. Естествена атмосфера на езеро, далечен вятър, леко движение на водата и реалистичен звук на саксофон. Без фонова музика извън инструментите, които физически присъстват в сцената.
Подкана за средата: Широка, огряна от слънцето поляна на върха на хълм, изпълнена с висока зелена трева и разпръснати лилави, бели и жълти диви цветя, поклащащи се от топъл бриз. Ниски зелени храсти покриват дясната страна на полето, а далечни синьо-зелени хълмове се простират по левия хоризонт под ярко, частично облачно небе.
Герой: През центъра на тревистата поляна, от непосредствения преден план далеч в далечината, преминава дълъг, непрекъснат поток от лъскава сатенена материя с цвят на дъвка. Блестящият розов плат се издува, набраздява и меко се повдига над дивите цветя като течаща река от коприна, докато вятърът се движи под гънките му.
Подкана за средата: Обширен въздушен изглед над огромния замръзнал пейзаж на Антарктида, включващ безкрайни покрити със сняг ледници, назъбени ледени планински върхове и оформени сини айсберги, окъпани в ясна полярна слънчева светлина под чисто, бледосиньо небе. Многобройни балони с горещ въздух изпълват хоризонта на различни височини, като голям балон на кремави, червени и сини райета се носи забележимо в средната далечина над ледената покривка.
Подкана за героя: Заснето от POV в първо лице, стоящ вътре в плетената кошница на летящ балон с горещ въздух, гледащ над ръба на кошницата с кожена облицовка от дясната страна на кадъра, където черни подплатени опорни стълбове, метални такелажни вериги и тъмната основа на навеса на балона отгоре рамкират носещата се полярна гледка.
Разширяване на границите на реализма във физиката и човешките действия
Genie 4 въвежда нов стандарт за реализъм в интерактивната симулация в реално време. Изграден върху усъвършенствано физическо разбиране на света, Genie 4 симулира сценарии от реалния свят, като аеродинамика, сблъсъци и други.
Най-драматичният скок е начинът, по който Genie 4 симулира хората, създавайки герои, които се движат естествено, реагират органично на средата си и могат да бъдат насочвани интерактивно в реално време.
Подкана за средата: Осветен от слънцето външен двор с изветрял каменен постамент на фокусен фон от буйна зелена градинска растителност и ясно синьо небе, окъпан в ярка, топла следобедна слънчева светлина, която осветява отзад капчици във въздуха в отчетливо забавено движение.
Подкана за героя: Цяла, лъскава диня със зелени ивици лежи в центъра на каменния постамент.
Подкана: Макро близък план на кленово семе, падащо от дървото в тревата
Подкана: Препълнена селска японска железопътна гара през 80-те години, изпълнена с пътници, чакащи по перона. Единственият железопътен инспектор в тъмносиня униформа стои близо до камерата и наблюдава сцената. Дълъг местен влак в наситено тъмночервено с много вагони заема най-близкия до POV на камерата железопътен коловоз, простирайки се през кадъра и далеч в далечината. Влакът се вижда ясно на непосредствения преден план, а не на отдалечен коловоз. Хората изпълват перона естествено — стоят, вървят, качват се и чакат с багаж. Буйни зелени планини, кедрови гори и влажна лятна мараня заобикалят гарата. Автентична японска атмосфера от 80-те години, кинематографична документална фотография на 35-милиметров филм, реалистична перспектива, асиметрична композиция, естествено осветление, фино филмово зърно, фотореалистични текстури. Гарата трябва да изглежда наистина оживена, с гъста тълпа от видими хора по целия перон. Червеният влак трябва да бъде на най-близкия коловоз и да доминира в сцената. Без празни перони, отдалечен влак, рехави тълпи или центрирана симетрична композиция.
Моделиране на звученето на света
Genie 4 е първият ни световен модел в реално време, който генерира аудио естествено. Всеки свят носи атмосферния звук на собствената си среда — от вятъра в дърветата до разбиващите се вълни на плажа.
Истинската граница обаче е човешката реч. Genie 4 въвежда интерактивен диалог, който се адаптира в движение. Героите разговарят и реагират на вашите действия или на събитията в света, всичко това в реално време.
Подкана: Създайте напълно триизмерен, потапящ пейзаж от витражи, който изглежда като ръчно изработен кристален прозорец, оживял. Светът трябва да може да бъде изследван, сякаш камерата може свободно да се движи през гигантска триизмерна среда от витражи. Цялата сцена трябва да има вид на витраж/кристален прозорец: прозрачно цветно стъкло, тъмни оловни контури, светещи многослойни панели, обемна дълбочина и занаятчийски стъклени текстури.
Покажете красив пейзаж с течаща река, преминаваща през зелени поля, цветя на преден план, дървета, далечни планини, облаци и сияйно слънце в небето. Реката трябва да изглежда като течащо прозрачно синьо стъкло, цветята — като изправени скулптури от витражи, тревата и дърветата — като многослойни форми от цветно стъкло, планините — като подредени стъклени панели, а слънцето — като светещ кръгъл елемент от витраж. Всичко трябва да се усеща пространствено, цялостно, сияйно и ръчно изработено, с дълбочина и усещане, че зрителят може да се движи през него в три измерения.
Камерата трябва да може да преминава през сцената, сякаш върви или се плъзга вътре в този триизмерен свят от витражи. Запазете света красив, магичен и напълно последователен по стил.
Абсолютно всичко трябва да остане направено от витражно стъкло или кристал през цялото време, включително тревата, водата, небето, облаците, цветята, дърветата, планините, слънцето и всички видими повърхности. Не въвеждайте естествени текстури от реалния свят. Без истинска трева, истинска вода, нормално небе и реализъм извън вселената на витражите.
Без текст, модерни обекти и реализъм извън вселената на витражите
Подкана: Потапящ POV в първо лице, виждаме само големите силни ръце на рицаря ездач, стягащи юздите, дракона и крилете. Фотореалистични, ултрареалистични кадри от екшън камера, видени изцяло през собствените очи на ездача, докато язди гигантски черен дракон със 140 км/ч през планинско трасе за драконови състезания с множество дракони и ездачи. Другите дракони са яздени от други рицари.
Камерата СА очите на ездача. Камерата е прикрепена към главата на ездача, насочена напред, и се движи естествено с движенията на главата му. Ездачът е зрителят. Лицето, главата, торсът, тялото и пълният силует на ездача НИКОГА не се виждат. Без кадри от трето лице, външни ъгли на камерата, отклонения, изгледи на ездача отзад или отстрани.
Показвайте само това, което ездачът естествено би видял: врата на дракона и отделни части от горната му част на гърба близо до долния ръб на кадъра, бързо отминаващия пейзаж, два други дракона и техните ездачи, състезаващи се отстрани и отпред, и огромен замък с катапулти по стените. Ездачът държи знаме по естествен начин и то може понякога да се появява в края на кадъра, но никога не трябва да блокира изгледа или да изпълва кадъра.
Камерата поддържа тази точна перспектива от първо лице през целия полет. Агресивно състезание с висока скорост, мощни реалистични махове на крилете, аеродинамично тегло, силен вятър, естествено движение на главата, леки вибрации на камерата, широкоъгълно изкривяване от екшън камера, реалистично размазване при движение, естествено кинематографично осветление, физически достоверно движение.
Строги визуални ограничения: истински POV на ездача от първо лице, без видим ездач, без перспектива от трето лице, без външен проследяващ кадър, без дрон камера, без кадър през рамото, без кинематографични отклонения, без камера, плаваща извън тялото на ездача, без CGI вид, без вид на видеоигра, без естетика на 3D рендер.
Аудио: дълбоки гръмотевични махове на крилете, ревящи пориви на вятъра на голяма височина, далечен вулканичен тътен и пукащи жаринки от пламъци.
Подкана: Кинематографичен макро близък план от независима хонконгска романтична драма от 1995 г., заснета на 35-милиметров филм. Двама млади, нетипично изглеждащи корейски влюбени на около 20 години карат мотоциклет по мост в покрайнините на Хонконг на разсъмване.
Мъжът шофьор не носи каска и оглежда тревожно, докато светлокожата жена пътник носи каска с открито лице. Лицата им доминират предния план, големи и застъпващи се, с естествена текстура на кожата и фини изражения на тревога и нежност.
Панорамна композиция от нисък ъгъл, рамкирана от плътни черни ленти. Малка дълбочина на рязкост, замъглен път, отдалечаващ се зад тях, оранжеви улични лампи, размазващи се при преминаването, и тъмнозелено вечерно небе. Интимна, несъвършена, меланхолична естетика на 35-милиметров филм.
Един непрекъснат кадър.
Симулиране на сложни събития с модели Gemini
Обединяването на Gemini и Genie 4 добавя нов слой разсъждение към симулацията на света, което ни позволява да моделираме сложни, многостъпкови събития и да тестваме как AI системите се ориентират в различни среди, преди да ги пренесем в реалния свят.
За да постигнем това в реално време, Gemini 3.8 Flash служи като насочващ агент в процеса: докато Genie 4 генерира свят в реално време, Gemini непрекъснато наблюдава сцената, разделя целите на поредица от стъпки и преглежда постъпващите кадри, за да следи напредъка и да проверява дали всяка стъпка е успешна. Когато светът се променя или потребителят се намеси, Gemini адаптира плана си в движение, отключвайки светове с надеждна причинно-следствена връзка, процедурно поведение и многостъпково разсъждение.
Подкана: Universal Robots UR5 държи пипета и дозира течност в лабораторна плака, предизвиквайки малки електрически искри.
Подкана за средата: Огрян от слънцето крайбрежен път, видян точно от бялата стоп-линия на крайбрежно кръстовище, където светофар, окачен отгоре, изпъква на непосредствения преден план и свети яркочервено. Успоредно на пътя, строго от дясната му страна, се простират златист пясъчен плаж и брегова линия с тюркоазени океански вълни под ясно синьо небе.
Подкана за героя: Заснето от POV в първо лице, седнал на мотоциклет, разположен непосредствено до светофара, гледайки право напред над кормилото, страничните огледала и таблото. С морето и брега, видими от дясната страна на кадъра, ездачът изминава последните няколко метра до бялата стоп-линия и спира на празен ход точно под светещия червен сигнал, с ръце в ръкавици върху ръкохватките, докато чака светлината да се смени.
Подкана: Венценосен жерав върви през снега под ясното небе с градиент на здрача. Естествени цветове в документален стил.
Като част от изследването на тази възможност експериментираме и с Gemini 4 Argon и Genie 4, за да обединим нашите водещи изследвания с Gemini Robotics.
В примера по-долу Argon разделя задача, зададена от потребителя, на стъпки, които Genie да визуализира. Тези стъпки се вмъкват като текстови надписи към Genie 4, докато симулацията се изобразява. Тъй като Genie 4 може да бъде насочвано в реално време чрез текстови надписи с помощта на Gemini, това вече открива възможност за адаптиране на симулацията, докато тя напредва към изпълнението на задачата. Тази способност открива път към симулиране на широк спектър от сценарии във въображаеми светове с помощта на Gemini 4 Argon и Genie 4.
Gemini 4 Argon и Genie 4 работят заедно, за да симулират хуманоида Apollo на Apptronik, който играе дама, като разделят задачата на стъпки в реално време.
Научени уроци от доверените тестери
Въпреки че Genie 4 е важен изследователски етап, той остава ранен експериментален модел. За да разберем как интерактивните световни модели могат да подпомогнат работните процеси в реалния свят — и в кои области все още трябва да се развиват — работим с групи доверени тестери от творческите индустрии, журналистиката, образованието, игрите и инженерството.
Тестерите подчертаха как скокът във фотореализма, естественото аудио и управлението в реално време позволява идеите и концепциите да се превръщат в реалистични симулации, отключвайки нови възможности в различни области:
- Творческа режисура: Творци и технолози тестват Genie 4 като бърз „режим за чернова“ за предварителна визуализация и генериране на идеи. Например режисьорите могат да влязат в жива симулация на сцена и да направят множество „дубли“ в реално време, като в движение променят ъглите на камерата, осветлението, диалога и действието.
- Исторически сценарии и потапящи фотографии: Фотожурналисти проучват как една-единствена 2D архивна снимка може за секунди да се превърне в реалистична симулация на съответната среда. Екипите тестват как населени, динамични светове могат да помогнат за преживяването на исторически пространства или за визуализирането на развитието на краткосрочни природни събития, като внезапно наводнение или горски пожар.
- Концептуален дизайн на интерактивни изживявания: Разработчици на игри и творчески технолози тестват Genie 4, за да преминат от първоначална идея към прототип, който може да бъде изследван, за секунди, като тестват визуални стилове, естетика на материалите и интерактивни механики чрез подкани на естествен език, преди да напишат и един ред код за енджина.
- Симулация: Освен в нашите изследвания в областта на роботиката, корпоративни партньори от различни индустрии оценяват Genie 4 като инструмент за бързо генериране на сценарии „от нула до едно“ и идентифицират пропуски, за да подобрим допълнително Genie и да отговорим най-добре на нуждите от симулация.
Бъдеща работа: Към хибридни световни модели
Обещаващ път за бъдещ напредък са хибридните световни модели, които съчетават логическото, структурирано разсъждение на кода и езиковите модели с богатото сетивно представяне на пикселно ниво на симулацията.
Приближаването на моделите Genie и Gemini един към друг е ранна стъпка в тази посока. Gemini работи зад кулисите, за да картографира структурата и да планира разказвателната времева линия, докато Genie генерира непосредствената физическа реалност — изобразявайки как светът изглежда, звучи и реагира, пиксел по пиксел. Заедно тези допълващи се силни страни могат да отключат нов клас световни модели, които са много по-съгласувани, управляеми и заземени от това, което всеки от двата подхода би могъл да постигне самостоятелно.
Отговорно изграждане на световни модели
Genie 4 бележи нова област на водещи изследвания, която обединява генериране в реално време и фотореализъм, въвеждайки нов спектър от възможности и измерения, които искаме да предоставяме и изследваме по отговорен начин. Genie 4 включва строги предпазни механизми, съответстващи на политиките ни за безопасност при другите модели. Преди да стартираме този преглед, оценихме Genie 4 чрез строги вътрешни оценки за безопасност, за да предотвратим генерирането на вредно или злонамерено съдържание. Освен това умишлено го предоставихме първо на доверени партньори тестери, за да получим ранна обратна връзка, преди да разпространим модела по-широко.
За да поддържаме прозрачност, всички видео- и аудиоматериали, генерирани от Genie 4, ще включват SynthID — нашата незабележима технология за цифров воден знак, която помага за идентифициране на генерирано от AI съдържание във визуални и аудио формати.
Разбиране на настоящите ограничения
Genie 4 остава ранна, развиваща се област на изследвания.
Макар да може да поддържа съгласувани среди за кратки сесии, визуалните детайли и постоянството на обектите все още могат да се променят или отклоняват с времето — особено когато симулацията продължава по-дълго, след множество сложни редакции на подкани или при навигация из сцената. Сложните физически взаимодействия, точността на аудиото в реално време, изобразяването на четлив текст, пространствената точност и дългосрочната последователност са активни области на текущи изследвания. Споделяме Genie 4 като преглед, за да се учим заедно с нашата общност и безопасно да развиваме границите на интерактивната симулация.
Следващи стъпки за Genie 4
Genie 4 беше предоставен като изследователски преглед на доверени тестери и скоро ще бъде достъпен за абонатите на Google AI Ultra в Project Genie и партньорите с ранен достъп до Gemini API и Google AI Studio. Присъединете се към списъка с чакащи за Genie 4 в Project Genie тук.
Очакваме с вълнение скоро потребителите да влязат вътре, да експериментират и да създават свои собствени интерактивни светове.
Благодарности
Genie 4 стана възможен благодарение на основния принос на Hang Qi, Diego Rivas, Aleksander Hołyński, Inbar Mosseri, Jack Parker-Holder, Shlomi Fruchter, Tejas Kulkarni, James Assiene, Philip Ball, Jakob Bauer, Eddie Cao, Lucy Chai, Harris Chan, Kleopatra Chatziprimou, Hao Chen, Yoni Choukroun, Mark Collier, Enric Corona, Kurtis David, Ariel Ephrat, Maxime Gazeau, Ruiqi Gao, Chelsee Glover-Odom, Liangke Gui, Swaroop Guntupalli, Shan Han, Tingbo Hou, Jiri Hron, Hui Huang, Drew A. Hudson, Zhouyuan Huo, Linyi Jin, Christos Kaplanis, Dhrupad Karwa, Eunyoung Kim, Congtao Kuang, Eliot Laidlaw, José Lezama, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Mark Matthews, Matt McGill, Kay McKinney, Ricardo Monti, Mark Murphy, Joseph Ortiz, Roni Paiss, Frank Perbet, Ben Poole, Tal Reiss, Konstantinos Rematas, Guy Scully, Jeremy Shar, Shashank Shastry, Sri S, Omer Tov, Ruben Villegas, Andrey Voynov, Hongjie Wang, Luyu Wang, Kaustubh Sridhar, Mo Samsami, Stephen Spencer, Yufei Wang, Will Whitney, Rundi Wu, Joyce (Jingjing) Xie, Jesse Yin, Shiran Zada, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo-yiin Chang, Dmitry Lagun, Ronny Huang, Yao Su, Ankush Gupta, Genzhi Ye, Haolin Jia, Weiqin Wang, Xi Xiong, Salah Zaiem, Carol Zheng, .
Genie 4 изискваше и тясно сътрудничество между партньорски екипи; благодарим на всички наши междуфункционални партньори, които направиха това стартиране възможно: Dina Bashkirova, Emil Bergner, Greta Borisko, Irina Blok, Melissa Byun, Gabe Clapper, Viral Carpenter, Michael Y. Chang, Maximo Cudich-Sieburger, Chloe Doan, Alisa Fortin, Shivani Ghanta, Vikram Gopali, Ezra Gorman, Khyatti Gupta, Sam Hasinoff, Philipp Henzler, Hector Hinestroza, Ed Hirst, Tyler Holland, Kristian Holsheimer, Tiffany Hu, Kapil Joshi, Randeep Katari, Pavan Kumar, Vikhyat Kumeria, Sam Kvaalen, Matthew Levine, Yinxiao Li, Yuchi Liu, Miao Luo, Nick Matarese, Kangfu Mei, Signe Nørly, Moises Oliveira, Eric Paskie, Manika Puri, Susanna Ricco, Andrey Ryabtsev, Cai Schumann, Nicole Brichtova, Andy Sekyere, Grace Shih, Melissa Smith, Duncan Noble Smith, Kenda Stewart, Rod Strougo, Jenn Sturgeon, Amy Zeng, Gaby Pearl, Eleanor Tomlinson, Kenyon Watson, Inês Ayer, Luke Talbot, Han-Yun Tsao, Guillaume Vernade, Karen Wang, Changchang Wu, Ian Wilkinson, Weijuan Xi, Jennifer Yick, Yunhan Zhao, Eric Zhang, Jason Zhang, Annie Zhou, James Zhou, Chris Walker, Alan Yam, Alex Chen, Cliff Lungaretti, Dan Motzenbecker, Kaloyan Kolev, Matthew Carey, Nate Zucker, Sam Lawton, Shashwath Santosh, Suz Chambers.
Благодарим Raia Hadsell, Aäron van den Oord, Josh Woodward, Steve Seitz, Carlos Hernandez, Elias Roman, Jung E. Kim, Abhishek Bapna, Eli Collins, Tulsee Doshi, Carolina Parada, Jie Tan, Koray Kavukcuoglu и Demis Hassabis за проницателните насоки и подкрепа през целия изследователски процес.
Накрая благодарим на нашите доверени тестери и потребители с ранен достъп, които предоставиха обратна връзка, за да помогнат за насочването на изследванията ни напред.
Свързани публикации
Genie 3: Нов хоризонт за световните модели
Как да създавате ефективни подкани с Genie
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.