Genie 4 від Google DeepMind надає сучасного вигляду дизайнам агентів, що виникли ще до LLM

Genie 4 має в реальному часі моделювати інтерактивні світи, зокрема звук і персонажів, які розмовляють. Моделі Gemini у фоновому режимі планують, що станеться далі в симуляції. Наразі випробувати модель світу можуть лише окремі тестувальники.

Google DeepMind представила Genie 4 — наступницю Genie 3, яку компанія продемонструвала в серпні 2025 року. Модель світу не створює готові відео, а обчислює сцену кадр за кадром, реагуючи на введені дані в процесі. Користувачі пересуваються сценою за допомогою клавіатури та керують подіями за допомогою текстових запитів.

За словами DeepMind, Genie 4 є першою моделлю світу компанії, яка безпосередньо генерує звук у реальному часі. Компанія стверджує, що кожен світ має власне фонове аудіо, наприклад шум вітру в деревах. Genie 4 також працює з діалогами: персонажі мають розмовляти один з одним і реагувати в реальному часі на введені користувачем дані або події.

DeepMind вбачає найбільший приріст реалістичності в тому, як модель відтворює людей. Персонажі мають рухатися природно й реагувати на оточення, а користувачі повинні мати змогу безпосередньо ними керувати.

Моделі Gemini планують наперед, щоб зберігати узгодженість світу

За словами DeepMind, Genie 4 використовує можливості відеомоделі Gemini Omni, щоб світ виглядав і поводився реалістично. Інші моделі Gemini допомагають планувати симуляцію, зберігаючи її послідовність.

Якщо користувач змінює погоду за допомогою текстового запиту, Gemini має адаптувати інструкцію до поточної сцени. DeepMind заявляє, що Gemini також керує подіями між введеннями, щоб світ і надалі розвивався логічно.

DeepMind пояснює цей процес на прикладі багатокрокових завдань. Gemini 3.8 Flash безперервно стежить за сценою, розбиває мету на кроки та використовує нові кадри, щоб перевірити, чи спрацював кожен крок. Якщо світ змінюється або втручається користувач, модель коригує свій план.

DeepMind також тестує Gemini 4 Argon, щоб поєднати роботу над Genie зі своїми дослідженнями в галузі робототехніки — Gemini Robotics. В одній демонстрації Argon розбиває завдання гри в шашки на окремі кроки. Genie 4 отримує їх у вигляді текстових інструкцій і використовує для симуляції гри в шашки гуманоїдного робота Apollo від Apptronik — без залучення реального робота.

Триваліші сеанси все ще створюють проблеми для моделі

DeepMind називає Genie 4 ранньою експериментальною моделлю. За словами компанії, світ залишається послідовним протягом коротких сеансів, але під час триваліших симуляцій або після кількох складних змін запитів візуальні деталі можуть змінюватися, а об’єкти не завжди зберігаються.

DeepMind заявляє, що все ще досліджує складні фізичні взаємодії, точне відтворення звуку в реальному часі та читабельний текст.

Наразі Genie 4 доступна лише окремим тестувальникам у форматі дослідницької попередньої версії. Незабаром вона має стати доступною передплатникам Google AI Ultra у вебзастосунку Project Genie, а також партнерам, які мають ранній доступ до Gemini API та Google AI Studio.

Google заявляє, що всі відео й аудіодоріжки міститимуть водяний знак SynthID, який непомітно позначає контент, створений ШІ.

Після вдосконалення моделі світу можуть слугувати середовищами для навчання, де роботи та ШІ-агенти навчатимуться на змодельованому досвіді, а не лише на даних. DeepMind розглядає поєднання Gemini з Genie як ранній крок до гібридних моделей світу, що поєднують здатність мовних і кодових моделей до міркування із симуляцією на рівні пікселів.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ та наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, мати повний доступ до архіву й розділу коментарів.