Світова модель Genie 4 від Google отримала аудіо, реалістичніші світи та керування в реальному часі

Google DeepMind випустила свою новітню модель світу Genie 4 у вівторок у форматі попередньої версії для досліджень. Остання модель генерує найбільш фотореалістичні та інтерактивні світи на сьогодні, дозволяючи користувачам вводити підказки під час симуляції, щоб змінювати сцену. Модель також генерує аудіо в реальному часі, що відповідає змодельованому світу, зокрема музику, навколишні шуми та інтерактивні діалоги.

Випуск Genie 4 відбувся через кілька місяців після того, як стартап у сфері відео на основі ШІ Runway випустив свою другу модель світу, GWM Worlds 2, ігрову модель, яка динамічно реагує на введені користувачем дані та включає генерацію аудіо. Водночас індустрія моделей світу починає консолідуватися. World Labs Фей-Фей Лі придбає AMD, Amazon веде переговори щодо придбання Decart, а Rivian щойно придбала Third Dimension, щоб перенести можливості симуляції всередину компанії для тестування безпілотного керування. 

Genie 4 — остання спроба Google випередити конкурентів у переповненій галузі. 

Google випустила попередницю Genie 3 трохи більше року тому у форматі попередньої версії для досліджень. Окрім значно більшої фотореалістичності та наявності аудіо, Genie 4 дає змогу вносити довільні зміни, наприклад змінювати погоду чи кут огляду камери в реальному часі або додавати нових людей чи об’єкти. Вона може підтримувати узгодженість сцени до двох хвилин — удвічі довше за попередницю — і пропонує кращу фізику та більш схожих на людей персонажів. 

Gemini, модель ШІ від Google, також тісніше інтегрована з Genie 4, виступаючи режисером, який планує кроки та перевіряє кадри, поки Genie створює візуальні матеріали. У дослідницькому експерименті, пов’язаному з Gemini Robotics, модель Gemini 4 Argon розклала завдання на кроки, які Genie 4 симулювала в реальному часі. Експеримент демонструє можливий спосіб тестувати сценарії для роботів у симуляції до того, як вони відбудуться в реальному світі.

«У майбутньому ми дедалі частіше бачитимемо ці гібридні моделі світу, у яких поєднуються Gemini, що пише код і текст, та Genie, яка в реальному часі сприймає це й симулює реальність на різних рівнях абстракції», — сказав під час брифінгу Теджас Кулкарні, директор з досліджень у Google. 

Як і для інших моделей світу, заявлені комерційні варіанти використання включають ігри, інтерактивне навчання та робототехніку. Одним із гіпотетичних прикладів інтерактивного навчання може бути введення картини з історичною сценою та спілкування із зображеними на картині персонажами про представлену подію.

Але «довірені тестувальники» — люди, які першими отримують доступ до передових продуктів Google, — вказують на можливий новий спосіб використання: створення прототипів фільмів.

«Аспект роботи в реальному часі стає найціннішим у сферах, де неймовірно важливо зберігати стан творчого потоку, — сказав під час пресбрифінгу Дієго Рівас, інженер Google DeepMind. — Наприклад, на етапі генерації ідей, на етапі розкадрування — щоразу, коли вам потрібна швидка генерація ідей».

Google також пропонує Veo — свою модель генерації відео на основі ШІ, яка створює відеокліпи високої чіткості з вбудованим синхронізованим аудіо на основі текстових, графічних або відеопідказок — інструмент, популярність якого зростає серед кінематографістів. 

Рівас додав, що згодом користувачі зможуть покладатися на Gemini Omni — мультимодальну велику мовну модель, здатну генерувати відео із зображень, аудіо та тексту, — щоб перетворювати ці прототипи на творчі матеріали. Однак, за його словами, до появи таких можливостей ще далеко.  

Протягом усього брифінгу Рівас наголошував, що Genie 4 все ще перебуває на ранньому етапі, і поки незрозуміло, яким буде кінцевий наскрізний досвід використання продукту. Команда також визнала, що Genie 4 усе ще має недоліки: деталі та об’єкти можуть змінюватися в міру тривання симуляції, а розробники досі не до кінця зрозуміли, як гарантувати точність аудіо та читабельність тексту у світі. 

Genie 4 уже доступна як попередня версія для досліджень для довірених тестувальників. Найближчими тижнями модель стане доступною для передплатників Google AI Ultra у Project Genie — інструменті Google на основі ШІ для генерації інтерактивних світів із текстових або графічних підказок — та партнерів із раннім доступом до Gemini API і Google AI Studio.