Запознайте се с Genie 4 на Google DeepMind: модел на света в реално време с вграден звук

Google DeepMind пусна Genie 4 като изследователска предварителна версия за доверени тестери. Световният модел Genie 4 генерира изследваеми светове от текстови и графични подкани в реално време. Той генерира и звуковата среда: фонов шум, музика и диалози между персонажи. Потребителите се движат с клавиатурата и насочват събитията с подкани на естествен език. По-голямата промяна е архитектурна. Модел Gemini вече работи в цикъла на симулацията като планировчик. Този подход е важен за всеки, който създава среди за обучение на агенти или роботи.

Накратко

• Работи на: само на хоствани от Google платформи (уеб приложението Project Genie, ранен достъп до Gemini API).
• Производителност: Фотореалистични светове с вградено аудио и управление чрез текст в реално време.
• Най-добро: Съгласуваност на сцената до 2 минути, два пъти повече от Genie 3, според брифинга на TechCrunch.
• Най-лошо: Сесиите продължават няколко минути, а обектите започват да се променят след многократни редакции на подканите.

Какво представлява Genie 4?

Genie 4 е световен модел от Google DeepMind, който симулира интерактивни среди кадър по кадър. Той не е генератор на видеоклипове. Всеки кадър реагира на потребителския вход, когато той постъпи.

DeepMind посочва, че моделът е мултимодален по рождение. Аудиото, музиката и диалозите се генерират заедно с визуалните елементи. Това е първият световен модел на DeepMind в реално време, който генерира аудио по рождение.

Той е наследник на Genie 3, обявен през август 2025 г. Genie 3 работеше с резолюция 720p и 24 кадъра в секунда, като визуалната му памет достигаше 1 минута.

Как Genie 4 използва Gemini?

Genie 4 заимства от 2 части на семейството Gemini. Gemini Omni задава облика и поведението на всеки свят. Други модели Gemini се занимават с разсъжденията, които поддържат съгласуваността на симулацията.

Цикълът на изпълнение работи по следния начин:

• Интерпретиране: Когато въведете подкана, Gemini я адаптира така, че да пасне на текущата сцена.
• Планиране: Gemini 3.8 Flash разделя целта на поредица от стъпки.
• Проверка: Той преглежда постъпващите кадри, за да потвърди, че всяка стъпка е изпълнена успешно.
• Адаптиране: Ако светът се промени или се намесите, той преработва плана.

Между потребителските входове Gemini също насочва сцената, така че светът да продължава да се развива. Екипът на DeepMind представя това като ранна стъпка към хибридни световни модели. При този дизайн езиков модел управлява структурата и повествованието, докато Genie визуализира пикселите и звука.

Какво можете да правите в свят на Genie 4?

• Насочване с текст: Можете да променяте времето, да движите камерата или да добавяте нов човек или обект по време на сесията.
• Симулиране на физика и хора: DeepMind посочва аеродинамиката и сблъсъците. Компанията определя човешкото движение като най-големия пробив, с персонажи, които реагират на заобикалящата ги среда.
• Чуване на света: Всеки свят има фоново аудио. Персонажите могат също да водят разговори, които реагират на вашите входове в реално време.
• Тестване на задачи за роботи: В една изследователска демонстрация Gemini 4 Argon разделя задача с дама на стъпки. Genie 4 получава всяка стъпка като текстово описание и симулира хуманоидния робот Apollo на Apptronik, който играе играта.

Как Genie 4 се сравнява с други световни модели?

DeepMind не публикува таблици с бенчмаркове за Genie 4. Сравнението по-долу използва само обявените спецификации от собствените източници на всеки проект.

Характеристика	Genie 4	Genie 3	Runway GWM Worlds 2	Skywork Matrix-Game 3.0
Пускане	27 октомври 2026 г.	5 август 2025 г.	3 септември 2026 г.	27 март 2026 г.
Параметри	Не са обявени	Не са обявени	Не са обявени	5B (плюс вариант MoE 2x14B)
Резолюция / FPS	Не са обявени	720p / 24 fps	720p / 24 fps	720p / до 40 fps
Вградено аудио	Да, включително диалози	Не е съобщено	Да, 48 kHz, включително реч	Не е съобщено
Текстово управление по време на сесията	Да, чрез Gemini	Да, събития в света с възможност за задаване чрез подкани	Да, текстови действия с времеви маркери	Действия с клавиатура и мишка
LLM планировчик в цикъла	Gemini 3.8 Flash	Не	Не (незадължителен външен интерфейс)	Не
Съгласуваност	Няколко минути; 2 минути според TechCrunch	Няколко минути; 1 минута визуална памет	Няма предварително зададена продължителност; несъвършена памет	Памет с продължителност една минута
Хардуер	Хоствано от Google, не е обявено	Хоствано от Google, не е обявено	Хоствано от Runway, не е обявено	8 GPU за DiT плюс 1 за VAE
Достъп / лиценз	Доверени тестери; AI Ultra и API скоро	Project Genie (AI Ultra)	Изследователска предварителна версия, формуляр за контакт	MIT, отворени тегла

Кой може да използва Genie 4 и кога?

Genie 4 е достъпен за доверени тестери още днес. Според DeepMind се очаква скоро да бъде достъпен за абонатите на Google AI Ultra в Project Genie. След тях идват партньорите с ранен достъп до Gemini API и Google AI Studio.

Всички видеоклипове и аудио, генерирани от Genie 4, ще съдържат водни знаци SynthID. DeepMind посочва, че е провел вътрешни оценки на безопасността преди предварителната версия.

Досегашните тестери са от творческите индустрии, журналистиката, образованието, игрите и инженерството.

Сред съобщените приложения са:

• Режисьори, които правят множество „дубли“ на живо за предварителна визуализация.
• Фотожурналисти, които превръщат единична архивна снимка в реалистична симулация.
• Разработчици на игри, които тестват стилове и механики, преди да напишат кода на енджина.
• Корпоративни партньори, които генерират симулационни сценарии от нулата.

Какви са ограниченията на Genie 4?

DeepMind изброява няколко нерешени проблема на страницата на модела Genie 4:

• Визуалните детайли и постоянството на обектите се променят при по-дълги сесии, след сложни редакции на подканите или по време на навигация.
• Взаимодействието е ограничено до няколко минути, а не до продължителни сесии.
• Реалните места не се симулират с перфектна точност.
• Четлив текст обикновено се появява само когато присъства в описанието на входа.
• Точността на аудиото в реално време и взаимодействията между множество агенти остават нерешени.

Основни изводи

• Genie 4 генерира света, фоновото аудио и диалозите заедно, в реално време.
• Gemini 3.8 Flash планира, проверява кадрите и преработва плана в рамките на цикъла.
• Не са обявени броят параметри, резолюцията, кадровата честота или бенчмаркове.
• Достъпът започва с доверени тестери, след което ще последват AI Ultra и партньорите на Gemini API.
• Промените в обектите и кратките сесии остават основните практически ограничения.

---

Разгледайте съобщението за Genie 4, страницата на модела Genie 4 и списъка с чакащи за Project Genie. Също така не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризиране на вашето GitHub хранилище ИЛИ страница в Hugging Face ИЛИ представяне на продукт ИЛИ уебинар и т.н.? Свържете се с нас