Световният модел Genie 4 на Google добавя аудио, по-реалистични светове и управление в реално време

Google DeepMind пусна най-новия си модел на света Genie 4 във версия за изследователски преглед във вторник. Най-новият модел генерира най-фотореалистичните и интерактивни досега светове, като позволява на потребителите да въвеждат подкани по време на симулацията, за да променят сцената. Моделът също така генерира аудио в реално време, което съответства на симулирания свят, включително музика, фонови шумове и интерактивни диалози.

Пускането на Genie 4 идва няколко месеца след като стартъпът за AI видео Runway представи втория си модел на света, GWM Worlds 2 — модел за игра, който реагира динамично на въведеното от потребителите и включва генериране на аудио. Същевременно индустрията на моделите на света започва да се консолидира. World Labs на Фей-Фей Ли ще бъде придобита от AMD, Amazon води преговори за придобиването на Decart, а Rivian току-що придоби Third Dimension, за да внедри вътрешно възможности за симулация при тестовете на автономното шофиране. 

Genie 4 е най-новият ход на Google в опита му да остане начело в конкурентната сфера. 

Google пусна предшественика му Genie 3 като версия за изследователски преглед преди малко повече от година. Освен че е много по-фотореалистичен и включва аудио, Genie 4 позволява свободни редакции, като например промяна на времето или ъгъла на камерата в реално време, както и добавяне на нови хора или обекти. Той може да поддържа последователна сцена до две минути — два пъти повече от ограничението на предшественика му — и предлага по-добра физика и по-човекоподобни персонажи. 

Gemini, AI моделът на Google, също е по-тясно интегриран с Genie 4, като изпълнява ролята на режисьор, който планира стъпките и проверява кадрите, докато Genie създава визуалните елементи. В изследователски експеримент, свързан с Gemini Robotics, модел Gemini 4 Argon раздели задачите на стъпки, които Genie 4 симулира в реално време. Експериментът показва възможен начин за тестване на роботизирани сценарии в симулация, преди те да се случат в реалния свят.

„Това, което все по-често ще виждаме в бъдеще, са тези хибридни модели на света, при които имате комбинация от Gemini, който пише код и текст, и Genie, който обработва тази информация в реално време и симулира реалността на различни нива на абстракция“, каза Теджас Кулкарни, директор на изследователската дейност в Google, по време на брифинг. 

Както и при други модели на света, рекламираните търговски приложения включват игри, интерактивно обучение и роботика. Един спекулативен пример за интерактивно обучение би бил въвеждането на картина на историческа сцена и разговорът с изобразените на картината личности за представеното събитие.

Но „доверените тестери“ — хората, които получават първи достъп до авангардните продукти на Google — посочват и възможна нова употреба: създаване на прототипи за филми.

„Аспектът в реално време става най-ценен в областите, в които поддържането на поток в творческия процес се оказва изключително полезно“, каза Диего Ривас, инженер в Google DeepMind, по време на брифинг за медиите. „Например във фазата на генериране на идеи, във фазата на създаване на сториборд — всеки път, когато имате нужда от бързо генериране на идеи.“

Google предлага и Veo — своя модел за генериране на AI видео, който създава клипове с висока разделителна способност и вграден синхронизиран звук от текстови, графични или видео подкани — инструмент, който набира популярност сред режисьорите. 

Ривас добави, че в крайна сметка потребителите биха могли да разчитат на Gemini Omni — мултимодален голям езиков модел, който може да генерира видео от изображения, аудио и текст — за да превръщат тези прототипи в творчески материали. По думите му обаче тези възможности все още са далеч.  

По време на целия брифинг Ривас подчертаваше, че Genie 4 все още е в ранен етап и че все още не е ясно как ще изглежда цялостното потребителско изживяване. Екипът също призна, че Genie 4 все още има недостатъци: детайлите и обектите могат да се променят, колкото по-дълго продължава симулацията, а разработчиците все още не са намерили напълно решение как да гарантират, че аудиото ще бъде точно и че текстът в света ще бъде четлив. 

Genie 4 вече е достъпен като версия за изследователски преглед за доверени тестери. През следващите седмици моделът ще бъде предоставен на абонатите на Google AI Ultra в Project Genie — AI инструмента на Google за генериране на интерактивни светове от текстови или графични подкани — както и на партньорите с ранен достъп до Gemini API и Google AI Studio.