Знакомьтесь: Genie 4 от Google DeepMind — модель мира в реальном времени с нативным аудио
Google DeepMind выпустила Genie 4 в качестве исследовательской предварительной версии для проверенных тестировщиков. Мировая модель Genie 4 в реальном времени генерирует исследуемые миры на основе текстовых и графических запросов. Она также создаёт звуковую среду: фоновые шумы, музыку и диалоги персонажей. Пользователи перемещаются с помощью клавиатуры и управляют событиями посредством запросов на обычном языке. Более существенное изменение касается архитектуры. Теперь модель Gemini работает внутри цикла симуляции в качестве планировщика. Такая схема важна для всех, кто создаёт среды обучения для агентов или роботов.
Кратко
- Работает на: только на инфраструктуре Google (веб-приложение Project Genie, ранний доступ к Gemini API).
- Производительность: фотореалистичные миры с нативным звуком и управлением с помощью текста в реальном времени.
- Лучшее: согласованность сцены сохраняется до 2 минут — вдвое дольше, чем у Genie 3, согласно брифингу TechCrunch.
- Худшее: сеансы длятся несколько минут, а объекты начинают смещаться после многократного редактирования запросов.
Что такое Genie 4?
Genie 4 — это мировая модель от Google DeepMind, которая покадрово моделирует интерактивные среды. Это не генератор видеоклипов. Каждый кадр реагирует на поступающие действия пользователя.
DeepMind заявляет, что модель является нативно мультимодальной. Аудио, музыка и диалоги генерируются одновременно с визуальным рядом. Это первая мировая модель DeepMind, которая нативно генерирует звук в реальном времени.
Она приходит на смену Genie 3, представленной в августе 2025 года. Genie 3 работала с разрешением 720p и частотой 24 кадра в секунду, а её визуальная память охватывала 1 минуту.
Как Genie 4 использует Gemini?
Genie 4 заимствует возможности двух частей семейства Gemini. Gemini Omni задаёт внешний вид и поведение каждого мира. Другие модели Gemini отвечают за рассуждения, которые поддерживают целостность симуляции.
Цикл выполнения работает следующим образом:
- Интерпретация: когда вы вводите запрос, Gemini адаптирует его к текущей сцене.
- Планирование: Gemini 3.8 Flash разбивает цель на последовательность шагов.
- Проверка: модель анализирует поступающие кадры, чтобы убедиться в успешном выполнении каждого шага.
- Адаптация: если мир меняется или вы вмешиваетесь, модель пересматривает план.
В промежутках между действиями пользователя Gemini также управляет сценой, чтобы мир продолжал развиваться. Команда DeepMind рассматривает это как ранний шаг к созданию гибридных мировых моделей. В такой архитектуре языковая модель отвечает за структуру и повествование, а Genie визуализирует пиксели и звук.
Что можно делать внутри мира Genie 4?
- Управлять с помощью текста: можно менять погоду, перемещать камеру или добавлять нового человека либо объект прямо во время сеанса.
- Моделировать физику и людей: DeepMind упоминает аэродинамику и столкновения. Компания называет самым значительным прорывом моделирование движений людей: персонажи реагируют на окружающую обстановку.
- Слышать мир: каждый мир сопровождается фоновым звуком. Персонажи также могут вести диалоги, реагируя на ваши действия в реальном времени.
- Тестировать задачи для роботов: в одной исследовательской демонстрации Gemini 4 Argon разделила задачу игры в шашки на отдельные шаги. Genie 4 получила каждый шаг в виде текстового описания и смоделировала игру человекоподобного робота Apollo от Apptronik.
Как Genie 4 сравнивается с другими мировыми моделями?
DeepMind не опубликовала таблицы бенчмарков для Genie 4. Приведённое ниже сравнение использует только раскрытые характеристики из собственных источников каждого проекта.
| Характеристика | Genie 4 | Genie 3 | Runway GWM Worlds 2 | Skywork Matrix-Game 3.0 |
|---|---|---|---|---|
| Дата выпуска | 27 октября 2026 года | 5 августа 2025 года | 3 сентября 2026 года | 27 марта 2026 года |
| Количество параметров | Не раскрыто | Не раскрыто | Не раскрыто | 5 млрд (плюс вариант MoE 2×14 млрд) |
| Разрешение / FPS | Не раскрыто | 720p / 24 кадра/с | 720p / 24 кадра/с | 720p / до 40 кадров/с |
| Нативный звук | Да, включая диалоги | Не сообщается | Да, 48 кГц, включая речь | Не сообщается |
| Текстовое управление во время сеанса | Да, через Gemini | Да, настраиваемые события мира | Да, текстовые действия с временными метками | Действия с клавиатуры и мыши |
| Планировщик на базе LLM в цикле | Gemini 3.8 Flash | Нет | Нет (опциональная внешняя оболочка) | Нет |
| Согласованность | Несколько минут; 2 минуты по данным TechCrunch | Несколько минут; 1 минута визуальной памяти | Фиксированная длительность отсутствует; память несовершенна | Память длительностью в одну минуту |
| Оборудование | Инфраструктура Google, данные не раскрыты | Инфраструктура Google, данные не раскрыты | Инфраструктура Runway, данные не раскрыты | 8 GPU для DiT и 1 для VAE |
| Доступ / лицензия | Проверенные тестировщики; скоро AI Ultra и API | Project Genie (AI Ultra) | Исследовательская предварительная версия, контактная форма | MIT, открытые веса |
Кто и когда сможет использовать Genie 4?
Сегодня Genie 4 доступна проверенным тестировщикам. Согласно DeepMind, вскоре она станет доступна подписчикам Google AI Ultra в рамках Project Genie. Затем доступ получат партнёры раннего доступа к Gemini API и Google AI Studio.
Все видео и аудио Genie 4 будут содержать водяные знаки SynthID. DeepMind заявляет, что перед предварительным выпуском провела внутренние оценки безопасности.
На данный момент среди тестировщиков представлены представители творческих индустрий, журналистики, образования, игровой отрасли и инженерии.
Заявленные варианты использования включают:
- Кинематографисты создают несколько живых «дублей» для предварительной визуализации.
- Фотожурналисты превращают одну архивную фотографию в реалистичную симуляцию.
- Разработчики игр тестируют стили и игровые механики до написания кода движка.
- Корпоративные партнёры создают сценарии симуляций с нуля.
Каковы ограничения Genie 4?
DeepMind перечисляет несколько нерешённых проблем на странице модели Genie 4:
- Визуальные детали и постоянство объектов ухудшаются в продолжительных сеансах, после сложного редактирования запросов или во время навигации.
- Взаимодействие ограничено несколькими минутами, а не продолжительными сеансами.
- Реальные местоположения не моделируются с идеальной точностью.
- Читаемый текст обычно появляется только в том случае, если он присутствует в исходном описании.
- Точность звука в реальном времени и взаимодействие нескольких агентов остаются нерешёнными задачами.
Основные выводы
- Genie 4 в реальном времени одновременно генерирует мир, фоновый звук и диалоги.
- Gemini 3.8 Flash планирует действия, проверяет кадры и перестраивает план внутри цикла.
- Данные о количестве параметров, разрешении, частоте кадров и бенчмарках не раскрыты.
- Доступ начинается с проверенных тестировщиков, затем подключаются партнёры AI Ultra и Gemini API.
- Смещение объектов и короткие сеансы остаются главными практическими ограничениями.
Подробнее читайте в анонсе Genie 4, на странице модели Genie 4 и в списке ожидания Project Genie. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тысячами участников и подписаться на нашу рассылку. Постойте! Вы пользуетесь Telegram? Теперь вы также можете присоединиться к нам в Telegram.
Хотите стать нашим партнёром для продвижения репозитория GitHub, страницы Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.