Kyutai CADRE: видеоавтоэнкодеры, сокращающие задержку мировых моделей до менее 230 мс

Kyutai выпустила CADRE — открытые каузальные диффузионные автоэнкодеры представлений для интерактивных моделей мира. Видеоавтоэнкодер Kyutai CADRE решает одну проблему: задержку реакции на действия. Многие модели мира заимствуют автоэнкодеры у генераторов видео из текста. Такие автоэнкодеры упаковывают множество кадров в один латентный вектор, поэтому каждое действие приходится ждать. Согласно исследовательской статье, модели мира CADRE работают со скоростью 20 кадров/с на 1 H100 и реагируют в течение 230 мс.

Кратко

• Размер: 7 автоэнкодеров, в каждом около 476 млн обучаемых параметров, а также замороженная модель DINOv3 ViT-B/16 на 86 млн параметров. Модель мира содержит 1,2 млрд параметров. Видео обрабатывается в разрешении 288×512 при 20 кадрах/с.
• Запуск: 1 H100 (bf16, размер пакета 1). Квантованные варианты: не раскрыты.
• Производительность: CADRE формирует большую часть фронта компромисса между задержкой и качеством. Она не медленнее и превосходит другие решения в 42 из 48 сравнений с MIRA, Wan 2.2, Cosmos и LTX-2.
• Лучший результат: FVD для вождения — 162,6 (CADRE-2×16×16, 1 шаг) против 599,7 у Wan 2.2.
• Худший результат: показатель следования действиям (ARR) при роботизированных манипуляциях — 0,45 для CADRE-2×32×32 против 0,85 у Wan 2.2.

Что такое CADRE?

CADRE — семейство видеоавтоэнкодеров от Kyutai, созданных для моделей мира с учётом действий. Модель мира генерирует данные в латентном пространстве автоэнкодера. Поэтому степень сжатия автоэнкодера определяет как стоимость обработки кадра, так и задержку реакции на действие.

Сжатие записывается как τ×s×s. τ — количество кадров на один латентный вектор, а s — пространственный коэффициент. В исследовании задержка определяется как τ/f плюс время генерации и декодирования. При τ = 8 и частоте 20 кадров/с только этот фрагмент добавляет 400 мс. Люди замечают, что собственные движения начинают отставать, при задержке свыше примерно 230 мс.

Как работает CADRE?

Энкодер повторно использует подход MIRA. Замороженная DINOv3 извлекает признаки каждого патча из каждого кадра. Затем один обучаемый 3D-свёрточный слой сжимает их в латентное представление с 64 каналами. Между 7 вариантами изменяется только это узкое место.

Декодер представляет собой каузальный диффузионный трансформер с 24 блоками. Он обрабатывает данные фрагмент за фрагментом. Прогрессивная самодистилляция обучает его декодировать за 1 или 2 шага. Всё это происходит на одном этапе обучения, без состязательной функции потерь.

Автоэнкодеры обучались на 23 общедоступных источниках видео, общей продолжительностью около 76 тыс. часов. Данные включают веб-видео, записи работы роботов, видео вождения и игровые видео.

Как оценивали CADRE?

Kyutai обучила один и тот же каузальный диффузионный трансформер на 1,2 млрд параметров для каждого автоэнкодера. Использовались 4 среды: роботизированные манипуляции (ABC), манипуляции человека (EgoDex), вождение (PhysicalAI AV) и навигация в помещениях (RealEstate10K). Каждая модель получает 2 секунды реального видео, а затем генерирует 4,8 секунды.

Оценивались качество изображения (FID), качество движения (FVD) и следование действиям (ARR). Для ARR используется замороженный модуль обратной динамики. ARR, равный 1, соответствует реальному видео.

Что показывают результаты тестов?

На одной H100 CADRE-2×32×32 реагирует за 185 мс и поддерживает скорость 23,4 кадра/с при декодировании за 1 шаг. Автоэнкодеру Wan 2.2 требуется 317 мс, LTX-2 — 492 мс, а Cosmos — 605 мс. DC-AE быстрее — 118 мс, но работает покадрово.

Разрыв наиболее заметен при движении камеры. В сценариях вождения FVD Wan 2.2 достигает 599,7, а LTX-2 — 913,3. При навигации в помещениях ARR LTX-2 снижается до 0,04. По сравнению с переобученным декодером MIRA диффузионный декодер с 1 шагом снижает FVD в 1,4–2,5 раза.

Каковы 4 основных вывода?

• Диффузионное декодирование: при сильном сжатии перцептивная регрессия размывает изображение, тогда как диффузионная модель за 1 шаг создаёт чёткое видео.
• Сжимать время следует в автоэнкодере: разбиение на патчи внутри модели мира приводит к потере деталей. При 8 кадрах ARR снижается с 0,72 до 0,56.
• Движение камеры определяет подход к сжатию: неподвижные камеры допускают временное сжатие. Для движущихся камер лучше использовать меньше кадров и более грубые пространственные токены.
• Грубые токены прежде всего ухудшают движение: при роботизированных манипуляциях пространственное сжатие 32× увеличивает FVD в 2,4 раза по сравнению с 16×. FID почти не меняется.

Сравнение: CADRE и другие видеоавтоэнкодеры

Характеристика	CADRE-2×32×32	CADRE-2×16×16	Рецепт MIRA	VAE Wan 2.2	Cosmos CV8x8x8	VAE LTX-2
Сжатие (τ×s×s)	2×32×32	2×16×16	2×32×32	4×16×16	8×8×8	8×32×32 (статья)
Токенов на 16 кадров	1152	4608	1152	2304	4608	288
Декодер	Каузальная диффузия, 1–2 шага	Каузальная диффузия, 1–2 шага	Перцептивная регрессия	Каузальный	Каузальный	Некаузальный, с окнами
Задержка действия, 1 H100	185 мс	216 мс	175 мс	317 мс	605 мс	492 мс
Макс. кадров/с, 1 H100	23,4	17,3	26,6	34,2	39,0	87,4
FVD, вождение (меньше — лучше)	171,3	162,6	311,6	599,7	452,5	913,3
FVD, роботизированные манипуляции	105,0	47,6	267,1	52,9	39,5	69,6
ARR, роботизированные манипуляции (больше — лучше)	0,45	0,73	0,39	0,85	0,78	0,25
PSNR реконструкции (OpenVid-HD)	22,86	25,12	24,44	35,02	31,39	28,24
Лицензия весов	CC BY-NC 4.0 + лицензия DINOv3	CC BY-NC 4.0 + лицензия DINOv3	Не раскрыта	Apache 2.0	NVIDIA Open Model License	LTX-2 Community License

Задержка, кадров/с, FVD, ARR и PSNR: статья CADRE, таблицы 4, 6 и 7. CADRE использует декодирование за 1 шаг. Все показатели приведены самой Kyutai.

В чём ограничения CADRE?

CADRE не побеждает во всех случаях. При роботизированных манипуляциях Cosmos показывает FVD 39,5 против 47,6 у лучшей CADRE с 1 шагом. В верхней части диапазона скорости DC-AE превосходит CADRE-1×48×48 в манипуляциях. Wan 2.2 также значительно лучше реконструирует отложенное видео, достигая 35,02 дБ PSNR.

Команда Kyutai утверждает, что качество реконструкции не предсказывает результаты генерации. Wan 2.2 занимает последнее место по FVD при генерации сцен навигации в помещениях.

Длинные латентные последовательности оставляют заметные швы между фрагментами. При τ = 8 избыток на границах достигает 1,6–1,8 в разных средах. CADRE-4×24×24 является исключением в навигации: FVD при вождении составляет 403. Каждая модель мира охватывает одну среду в разрешении 288×512. Остаётся открытым вопрос, применимы ли эти выводы к универсальным моделям.

Как разработчики могут использовать CADRE?

Код распространяется по лицензии MIT. Веса на Hugging Face доступны по лицензии CC BY-NC 4.0, поэтому коммерческое использование исключено. Релиз включает 7 автоэнкодеров, 4 версии с несколькими разрешениями и более длительным обучением, а также 4 модели мира на основе CADRE-2×16×16. Интерактивная демонстрация позволяет управлять ими с клавиатуры.

Основные выводы

• 7 открытых автоэнкодеров, различающихся одним узким местом, позволяют изучать сжатие как единственную переменную.
• Модели мира на основе CADRE работают со скоростью 20 кадров/с на 1 H100 при задержке менее 230 мс.
• FVD при вождении снижается до 162,6 против 599,7 у Wan 2.2.
• Неподвижные камеры лучше переносят временное сжатие, а движущиеся — пространственное.
• Веса доступны для некоммерческого использования (CC BY-NC 4.0); код распространяется по лицензии MIT.

---

Ознакомьтесь с исследовательской статьёй, блогом Kyutai, репозиторием на GitHub и коллекцией моделей. Вся заслуга принадлежит исследователям этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? теперь к нам можно присоединиться и в Telegram.

Хотите сотрудничать с нами для продвижения своего репозитория на GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами