Kyutai CADRE: відеоавтоенкодери, що скорочують затримку моделей світу до менш ніж 230 мс
Kyutai випустила CADRE — відкриті причинно-наслідкові дифузійні автоенкодери представлень для інтерактивних моделей світу. Відеоавтоенкодер Kyutai CADRE вирішує одну проблему: затримку дії. Багато моделей світу запозичують автоенкодери з генераторів тексту у відео. Ці автоенкодери упаковують багато кадрів в один латентний простір, тому кожна дія затримується. Згідно з дослідницькою статтею, моделі світу CADRE працюють зі швидкістю 20 кадрів/с на 1 H100 і реагують протягом 230 мс.
Коротко
- Розмір: 7 автоенкодерів, кожен приблизно з 476 млн навчених параметрів, плюс заморожений 86-мільйонний DINOv3 ViT-B/16. Модель світу має 1,2 млрд параметрів. Відео генерується у роздільній здатності 288×512 зі швидкістю 20 кадрів/с.
- Працює на: 1 H100 (bf16, розмір пакета 1). Квантизовані версії: не розкрито.
- Продуктивність: CADRE охоплює більшу частину фронту компромісу між затримкою та якістю. Вона така ж швидка або краща у 42 з 48 порівнянь із MIRA, Wan 2.2, Cosmos і LTX-2.
- Найкращий результат: FVD для водіння — 162,6 (CADRE-2×16×16, 1 крок) проти 599,7 у Wan 2.2.
- Найгірший результат: ARR слідування за діями під час маніпуляцій із роботами — 0,45 для CADRE-2×32×32 проти 0,85 у Wan 2.2.
Що таке CADRE?
CADRE — це сімейство відеоавтоенкодерів від Kyutai, створених для моделей світу, зумовлених діями. Модель світу генерує дані в латентному просторі автоенкодера. Тому стиснення автоенкодера визначає як вартість обробки кожного кадру, так і затримку дії.
Стиснення записується як τ×s×s. τ — це кількість кадрів на один латентний елемент, а s — просторовий коефіцієнт. У дослідженні затримка визначається як τ/f плюс час генерації та декодування. За τ = 8 і 20 кадрів/с один лише фрагмент додає 400 мс. Люди помічають, що їхні власні рухи запізнюються, коли затримка перевищує приблизно 230 мс.
Як працює CADRE?
Енкодер повторно використовує підхід MIRA. Заморожений DINOv3 виділяє ознаки кожного патчу з кожного кадру. Один навчений 3D-згортковий шар стискає їх у 64-канальний латентний простір. Між 7 компонентами змінюється лише це вузьке місце.
Декодер — це причинно-наслідковий дифузійний трансформер із 24 блоками. Він передає дані фрагмент за фрагментом. Прогресивна самодистиляція навчає його декодувати за 1 або 2 кроки. Це відбувається на одному етапі навчання, без змагальної функції втрат.
Автоенкодери навчаються на 23 загальнодоступних джерелах відео, загальним обсягом близько 76 тисяч годин. До набору входять вебвідео, відео роботів, водіння та ігрові відео.
Як оцінювали CADRE?
Kyutai навчила один і той самий причинно-наслідковий дифузійний трансформер із 1,2 млрд параметрів на кожному автоенкодері. Було використано 4 середовища: маніпуляції з роботами (ABC), маніпуляції людьми (EgoDex), водіння (PhysicalAI AV) і навігація в приміщеннях (RealEstate10K). Кожна модель отримує 2 с реального відео, а потім генерує 4,8 с.
Оцінки охоплюють якість зображення (FID), якість руху (FVD) і слідування за діями (ARR). ARR використовує заморожений зонд оберненої динаміки. ARR, що дорівнює 1, відповідає реальному відео.
Що показують бенчмарки?
На одному H100 CADRE-2×32×32 реагує за 185 мс і підтримує швидкість 23,4 кадру/с з 1 кроком декодування. Автоенкодеру Wan 2.2 потрібно 317 мс, LTX-2 — 492 мс, а Cosmos — 605 мс. DC-AE швидший — 118 мс, але працює покадрово.
Розрив найбільший під час руху камери. У водінні FVD Wan 2.2 сягає 599,7, а LTX-2 — 913,3. У навігації в приміщеннях ARR LTX-2 падає до 0,04. Порівняно з перенавченим декодером MIRA, дифузійний декодер з 1 кроком знижує FVD у 1,4–2,5 раза.
Які 4 висновки?
- Декодування за допомогою дифузії: за сильного стиснення перцептивна регресія розмиває зображення, тоді як дифузія генерує 1 чітке відео.
- Стискати час в автоенкодері: розбиття на патчі всередині моделі світу призводить до втрати деталей. За 8 кадрів ARR падає з 0,72 до 0,56.
- Рух камери визначає стиснення: нерухомі камери допускають часове стиснення. Рухомі камери надають перевагу меншій кількості кадрів і грубішим просторовим токенам.
- Грубі токени першими погіршують рух: у маніпуляціях із роботами просторове стиснення 32× збільшує FVD у 2,4 раза порівняно з 16×. FID майже не змінюється.
Порівняння: CADRE та інші відеоавтоенкодери
| Характеристика | CADRE-2×32×32 | CADRE-2×16×16 | Підхід MIRA | VAE Wan 2.2 | Cosmos CV8x8x8 | VAE LTX-2 |
|---|---|---|---|---|---|---|
| Стиснення (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (стаття) |
| Токенів на 16 кадрів | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| Декодер | Причинно-наслідкова дифузія, 1–2 кроки | Причинно-наслідкова дифузія, 1–2 кроки | Перцептивна регресія | Причинно-наслідковий | Причинно-наслідковий | Непричинно-наслідковий, віконний |
| Затримка дії, 1 H100 | 185 мс | 216 мс | 175 мс | 317 мс | 605 мс | 492 мс |
| Макс. кадрів/с, 1 H100 | 23,4 | 17,3 | 26,6 | 34,2 | 39,0 | 87,4 |
| FVD, водіння (менше — краще) | 171,3 | 162,6 | 311,6 | 599,7 | 452,5 | 913,3 |
| FVD, маніпуляції з роботами | 105,0 | 47,6 | 267,1 | 52,9 | 39,5 | 69,6 |
| ARR, маніпуляції з роботами (більше — краще) | 0,45 | 0,73 | 0,39 | 0,85 | 0,78 | 0,25 |
| PSNR реконструкції (OpenVid-HD) | 22,86 | 25,12 | 24,44 | 35,02 | 31,39 | 28,24 |
| Ліцензія ваг | CC BY-NC 4.0 + ліцензія DINOv3 | CC BY-NC 4.0 + ліцензія DINOv3 | Не розкрито | Apache 2.0 | NVIDIA Open Model License | LTX-2 Community License |
Затримка, fpsA, FVD, ARR і PSNR: стаття CADRE, таблиці 4, 6 і 7. CADRE використовує 1 крок декодування. Усі показники наведені самою Kyutai.
У чому обмеження CADRE?
CADRE не перемагає всюди. У маніпуляціях із роботами Cosmos демонструє FVD 39,5 проти 47,6 у найкращої CADRE з 1 кроком. У швидкісному режимі DC-AE перевершує CADRE-1×48×48 у маніпуляціях. Wan 2.2 також значно краще реконструює відео, відкладене для тестування, — 35,02 дБ PSNR.
Команда Kyutai стверджує, що якість реконструкції не передбачає якість розгортань. Wan 2.2 посідає останнє місце за FVD розгортань у приміщеннях.
Довгі латентні послідовності залишають помітні шви між фрагментами. За τ = 8 надлишок на межах сягає 1,6–1,8 у різних середовищах. CADRE-4×24×24 є винятком у навігації: її FVD у водінні становить 403. Кожна модель світу охоплює одне середовище у роздільній здатності 288×512. Чи поширюються ці висновки на універсальні моделі, залишається відкритим питанням.
Як розробники можуть використовувати CADRE?
Код ліцензовано за MIT. Ваги на Hugging Face доступні за ліцензією CC BY-NC 4.0, тому комерційне використання заборонене. Реліз охоплює 7 автоенкодерів, 4 версії з різною роздільною здатністю, навчені довше, і 4 моделі світу на основі CADRE-2×16×16. Жива демонстрація дає змогу керувати ними за допомогою клавіатури.
Ключові висновки
- 7 відкритих автоенкодерів, які відрізняються лише вузьким місцем, ізолюють стиснення як єдину змінну.
- Моделі світу на CADRE працюють зі швидкістю 20 кадрів/с на 1 H100 із затримкою менш як 230 мс.
- FVD у водінні знижується до 162,6 проти 599,7 у Wan 2.2.
- Нерухомі камери віддають перевагу часовому стисненню, а рухомі — просторовому.
- Ваги призначені для некомерційного використання (CC BY-NC 4.0); код — за ліцензією MIT.
Ознайомтеся зі статтею, блогом Kyutai, репозиторієм на GitHub і колекцією моделей. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання зі 150 тисячами+ учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Потрібно співпрацювати з нами для просування вашого репозиторію на GitHub, сторінки на Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.