Kyutai CADRE: Видеоавтоенкодери, които намаляват забавянето на моделите на света под 230 мс
Kyutai пусна CADRE — отворени каузални дифузионни автоенкодери за интерактивни световни модели. Видеоавтоенкодерът Kyutai CADRE е насочен към един проблем: забавянето при действията. Много световни модели използват автоенкодери от генератори за преобразуване на текст във видео. Тези автоенкодери пакетират много кадри в един латентен вектор, така че всяко действие се забавя. Според изследователската статия световните модели CADRE работят с 20 кадъра в секунда на 1 H100 и реагират в рамките на 230 ms.
Накратко
- Размер: 7 автоенкодера, всеки с около 476 млн. обучаеми параметъра плюс замразен 86M DINOv3 ViT-B/16. Световният модел е с 1,2 млрд. параметъра. Видеото се генерира с резолюция 288×512 и 20 кадъра в секунда.
- Работи на: 1 H100 (bf16, batch 1). Квантизирани варианти: не са оповестени.
- Производителност: CADRE заема по-голямата част от границата между латентност и качество. Той е също толкова бърз и по-добър в 42 от 48 сравнения с MIRA, Wan 2.2, Cosmos и LTX-2.
- Най-добър резултат: FVD при шофиране от 162.6 (CADRE-2×16×16, 1 стъпка) срещу 599.7 за Wan 2.2.
- Най-лош резултат: ARR при следване на действия при роботизирана манипулация от 0.45 за CADRE-2×32×32 срещу 0.85 за Wan 2.2.
Какво представлява CADRE?
CADRE е семейство видеоавтоенкодери от Kyutai, създадени за световни модели, обусловени от действия. Световният модел генерира в латентното пространство на автоенкодера. Следователно компресията на автоенкодера определя както разхода за кадър, така и забавянето при действията.
Компресията се записва като τ×s×s. τ е броят кадри на латентен вектор, а s е пространственият коефициент. Изследването дава латентността като τ/f плюс времето за генериране и декодиране. При τ = 8 и 20 кадъра в секунда само фрагментът добавя 400 ms. Хората забелязват забавяне на собственото си движение след около 230 ms.
Как работи CADRE?
Енкодерът използва отново метода на MIRA. Замразен DINOv3 извлича характеристики за всеки пач от всеки кадър. Една обучена 3D свертка ги компресира в латентен вектор с 64 канала. Само това тясно място се променя между 7-те модела.
Декодерът е каузален дифузионен трансформер с 24 блока. Той обработва потока фрагмент по фрагмент. Прогресивната самодестилация го обучава да декодира с 1 или 2 стъпки. Това се случва на един-единствен етап на обучение, без адверсариална загуба.
Автоенкодерите са обучени върху 23 публични източника на видео, общо около 76 хил. часа. Съвкупността обхваща уеб, роботизирани, автомобилни и игрови видеа.
Как беше оценен CADRE?
Kyutai обучи един и същ каузален дифузионен трансформер с 1,2 млрд. параметъра върху всеки автоенкодер. Използвани са 4 среди: роботизирана манипулация (ABC), човешка манипулация (EgoDex), шофиране (PhysicalAI AV) и навигация на закрито (RealEstate10K). Всеки модел вижда 2 секунди реално видео, след което генерира 4,8 секунди.
Оценките обхващат качеството на изображението (FID), качеството на движението (FVD) и следването на действия (ARR). ARR използва замразена сонда за обратна динамика. ARR от 1 съответства на реално видео.
Какво показват бенчмарковете?
На един H100 CADRE-2×32×32 реагира за 185 ms и поддържа 23,4 кадъра в секунда с 1 стъпка на декодиране. Автоенкодерът Wan 2.2 се нуждае от 317 ms, LTX-2 — от 492 ms, а Cosmos — от 605 ms. DC-AE е по-бърз със 118 ms, но обработва кадрите един по един.
Разликата е най-голяма при движеща се камера. При шофиране FVD на Wan 2.2 достига 599.7, а на LTX-2 — 913.3. При навигация на закрито ARR на LTX-2 спада до 0.04. Спрямо повторно обучения декодер MIRA дифузионният декодер с 1 стъпка намалява FVD от 1,4 до 2,5 пъти.
Кои са 4-те основни открития?
- Декодиране чрез дифузия: при силна компресия перцептивната регресия размазва изображението, докато дифузията генерира 1 рязко видео.
- Компресирайте времето в автоенкодера: разделянето на кадрите вътре в световния модел води до загуба на детайли. При 8 кадъра ARR спада от 0.72 до 0.56.
- Движението на камерата определя компресията: неподвижните камери понасят времева компресия. Движещите се камери предпочитат по-малко кадри и по-груби пространствени токени.
- Грубите токени първо влошават движението: при роботизирана манипулация пространствената компресия 32× умножава FVD по 2,4 спрямо 16×. FID почти не се променя.
Сравнение: CADRE спрямо други видеоавтоенкодери
| Характеристика | CADRE-2×32×32 | CADRE-2×16×16 | Метод MIRA | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| Компресия (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (статия) |
| Токени за 16 кадъра | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| Декодер | Каузална дифузия, 1 до 2 стъпки | Каузална дифузия, 1 до 2 стъпки | Перцептивна регресия | Каузален | Каузален | Некаузален, с прозорци |
| Латентност на действието, 1 H100 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| Макс. кадри в секунда, 1 H100 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD, шофиране (по-ниското е по-добре) | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD, роботизирана манипулация | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR, роботизирана манипулация (по-високото е по-добре) | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| PSNR на реконструкцията (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| Лиценз на теглата | CC BY-NC 4.0 + лиценз DINOv3 | CC BY-NC 4.0 + лиценз DINOv3 | Не е оповестен | Apache 2.0 | NVIDIA Open Model License | LTX-2 Community License |
Латентност, fpsA, FVD, ARR и PSNR: статията на CADRE, таблици 4, 6 и 7. CADRE използва 1 стъпка на декодиране. Всички стойности са предоставени от Kyutai.
Какви са недостатъците на CADRE?
CADRE не печели навсякъде. При роботизирана манипулация Cosmos постига FVD от 39.5 срещу 47.6 за най-добрия CADRE с 1 стъпка. В бързия край DC-AE превъзхожда CADRE-1×48×48 при манипулация. Wan 2.2 също реконструира значително по-добре задържаното видео — с 35.02 dB PSNR.
Екипът на Kyutai твърди, че реконструкцията не предсказва резултатите от генерирането. Wan 2.2 се класира последен по FVD при генериране на видео за навигация на закрито.
Дългите латентни вектори оставят видими шевове между фрагментите. При τ = 8 излишъкът по границите достига от 1.6 до 1.8 в различните среди. CADRE-4×24×24 е отклонение при навигацията, с FVD 403 при шофиране. Всеки световен модел обхваща една среда с резолюция 288×512. Дали резултатите се пренасят към универсални модели, остава открит въпрос.
Как разработчиците могат да използват CADRE?
Кодът е с лиценз MIT. Теглата в Hugging Face са с лиценз CC BY-NC 4.0, така че търговската употреба е изключена. Изданието включва 7 автоенкодера, 4 версии с по-дълго обучение и многорезолюционна поддръжка и 4 световни модела върху CADRE-2×16×16. Демонстрация на живо ви позволява да ги управлявате с клавиатура.
Основни изводи
- 7 отворени автоенкодера, различаващи се само по тясното място, изолират компресията като единствена променлива.
- Световните модели върху CADRE работят с 20 кадъра в секунда на 1 H100 при забавяне под 230 ms.
- FVD при шофиране спада до 162.6 срещу 599.7 за Wan 2.2.
- Неподвижните камери предпочитат времева компресия; движещите се камери предпочитат пространствена компресия.
- Теглата са за некомерсиална употреба (CC BY-NC 4.0); кодът е с лиценз MIT.
Разгледайте статията, блога на Kyutai, GitHub хранилището и колекцията от модели. Всички заслуги са за изследователя на този проект. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.
Имате нужда да си партнирате с нас за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово издание, уебинар и т.н.? Свържете се с нас
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.