Знайомтеся: Genie 4 від Google DeepMind — модель світу в реальному часі з нативним аудіо
Google DeepMind випустила Genie 4 як дослідницьку попередню версію для довірених тестувальників. Світова модель Genie 4 у реальному часі генерує світи, які можна досліджувати, на основі текстових і графічних підказок. Вона також генерує звуковий ландшафт: фоновий шум, музику та діалоги персонажів. Користувачі пересуваються за допомогою клавіатури, а керують подіями за допомогою підказок звичайною мовою. Головна зміна — в архітектурі. Тепер модель Gemini працює всередині циклу симуляції як планувальник. Такий підхід важливий для всіх, хто створює навчальні середовища для агентів або роботів.
Коротко
- Працює на: лише на серверах Google (вебзастосунок Project Genie, ранній доступ до Gemini API).
- Продуктивність: фотореалістичні світи з нативним аудіо та керуванням текстом у реальному часі.
- Найкраще: узгодженість сцени до 2 хвилин, удвічі довше, ніж у Genie 3, за даними брифінгу TechCrunch.
- Найгірше: сеанси тривають кілька хвилин, а об’єкти зміщуються після повторного редагування підказок.
Що таке Genie 4?
Genie 4 — це світова модель від Google DeepMind, яка покадрово симулює інтерактивні середовища. Це не генератор відеокліпів. Кожен кадр реагує на введення користувача в момент його надходження.
DeepMind зазначає, що модель є мультимодальною від самого початку. Аудіо, музика та діалоги генеруються разом із візуальними елементами. Це перша модель світу DeepMind у реальному часі, яка нативно генерує аудіо.
Вона є наступницею Genie 3, про яку було оголошено в серпні 2025 року. Genie 3 працювала з роздільною здатністю 720p і частотою 24 кадри на секунду, а її візуальна пам’ять сягала 1 хвилини.
Як Genie 4 використовує Gemini?
Genie 4 запозичує компоненти з 2 частин сімейства Gemini. Gemini Omni закріплює вигляд і поведінку кожного світу. Інші моделі Gemini відповідають за міркування, які підтримують узгодженість симуляції.
Цикл виконання працює так:
- Інтерпретація: коли ви вводите підказку, Gemini адаптує її до поточної сцени.
- Планування: Gemini 3.8 Flash розбиває мету на послідовність кроків.
- Перевірка: модель аналізує вхідні кадри, щоб підтвердити успішне виконання кожного кроку.
- Адаптація: якщо світ змінюється або ви втручаєтеся, модель переглядає план.
У проміжках між введеннями користувача Gemini також керує сценою, щоб світ продовжував розвиватися. Команда DeepMind розглядає це як ранній крок до гібридних світових моделей. У такій конструкції мовна модель відповідає за структуру й наратив, тоді як Genie відтворює пікселі та звук.
Що можна робити у світі Genie 4?
- Керувати за допомогою тексту: можна змінювати погоду, переміщувати камеру або додавати нову людину чи об’єкт посеред сеансу.
- Симулювати фізику та людей: DeepMind згадує аеродинаміку й зіткнення. Компанія називає рухи людей найбільшим проривом — персонажі реагують на навколишнє середовище.
- Чути світ: кожен світ має фонове аудіо. Персонажі також можуть вести діалоги, які реагують на ваші введення в реальному часі.
- Тестувати завдання для роботів: в одній із дослідницьких демонстрацій Gemini 4 Argon розбила завдання з шашками на кроки. Genie 4 отримувала кожен крок як текстовий опис і симулювала гру людиноподібного робота Apollo від Apptronik.
Як Genie 4 порівнюється з іншими світовими моделями?
DeepMind не оприлюднила таблиць бенчмарків для Genie 4. Наведене нижче порівняння використовує лише розкриті характеристики з власних джерел кожного проєкту.
| Функція | Genie 4 | Genie 3 | Runway GWM Worlds 2 | Skywork Matrix-Game 3.0 |
|---|---|---|---|---|
| Випуск | 27 жовтня 2026 | 5 серпня 2025 | 3 вересня 2026 | 27 березня 2026 |
| Параметри | Не розкрито | Не розкрито | Не розкрито | 5B (а також варіант MoE 2x14B) |
| Роздільна здатність / FPS | Не розкрито | 720p / 24 кадри/с | 720p / 24 кадри/с | 720p / до 40 кадрів/с |
| Нативне аудіо | Так, зокрема діалоги | Не повідомлялося | Так, 48 кГц, зокрема мовлення | Не повідомлялося |
| Текстове керування посеред сеансу | Так, за посередництва Gemini | Так, події світу можна задавати підказками | Так, текстові дії з часовими мітками | Дії за допомогою клавіатури та миші |
| Планувальник LLM у циклі | Gemini 3.8 Flash | Ні | Ні (необов’язкова зовнішня оболонка) | Ні |
| Узгодженість | Кілька хвилин; 2 хвилини за даними TechCrunch | Кілька хвилин; 1 хвилина візуальної пам’яті | Фіксованої тривалості немає; пам’ять недосконала | Пам’ять тривалістю одну хвилину |
| Апаратне забезпечення | На серверах Google, не розкрито | На серверах Google, не розкрито | На серверах Runway, не розкрито | 8 GPU для DiT і 1 для VAE |
| Доступ / ліцензія | Довірені тестувальники; скоро AI Ultra та API | Project Genie (AI Ultra) | Дослідницька попередня версія, контактна форма | MIT, відкриті ваги |
Хто і коли може користуватися Genie 4?
Genie 4 вже доступна довіреним тестувальникам. За даними DeepMind, незабаром вона стане доступною підписникам Google AI Ultra у Project Genie. Наступними будуть партнери з раннього доступу до Gemini API та Google AI Studio.
Усі відео й аудіо Genie 4 матимуть водяні знаки SynthID. DeepMind зазначає, що перед попереднім випуском провела внутрішні оцінювання безпеки.
Серед тестувальників наразі є представники креативних індустрій, журналістики, освіти, ігрової галузі та інженерії.
Заявлені способи використання включають:
- Кінематографісти проводять кілька live-«дублів» для попередньої візуалізації.
- Фотожурналісти перетворюють одну архівну фотографію на обґрунтовану симуляцію.
- Розробники ігор тестують стилі та механіки до написання коду рушія.
- Корпоративні партнери генерують сценарії симуляцій із нуля.
Які обмеження має Genie 4?
DeepMind перелічує кілька невирішених проблем на сторінці моделі Genie 4:
- Візуальні деталі та сталість об’єктів погіршуються під час триваліших сеансів, після складного редагування підказок або під час навігації.
- Взаємодія обмежена кількома хвилинами, а не тривалими сеансами.
- Реальні місця не симулюються з ідеальною точністю.
- Розбірливий текст зазвичай з’являється лише тоді, коли він є в описі вхідних даних.
- Точність аудіо в реальному часі та взаємодія кількох агентів залишаються невирішеними проблемами.
Основні висновки
- Genie 4 генерує світ, фонове аудіо та діалоги разом у реальному часі.
- Gemini 3.8 Flash планує, перевіряє кадри та переплановує дії всередині циклу.
- Параметри, роздільну здатність, частоту кадрів і бенчмарки не розкрито.
- Доступ починається з довірених тестувальників, потім буде наданий користувачам AI Ultra та партнерам Gemini API.
- Зміщення об’єктів і короткі сеанси залишаються головними практичними обмеженнями.
Ознайомтеся з анонсом Genie 4, сторінкою моделі Genie 4 та списком очікування Project Genie. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання з понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.
Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.