Знакомьтесь: Kyutai REKI — VLA-модель с 2,4 млрд параметров, обеспечивающая эффективную память для роботизированных манипуляций

Kyutai совместно с Inria и École des Ponts выпустила REKI — модель зрения, языка и действий (VLA) с 2,4 млрд параметров для манипуляций роботами. Модель зрения, языка и действий REKI предварительно обучена только на общедоступных данных. Она также располагает недорогой памятью о недавнем прошлом. На трёх тестах вне распределения её превзошли только модели примерно вдвое большего размера. Все веса уже доступны на Hugging Face.

Кратко

• Размер: 2,4 млрд параметров (2,2 млрд — VLM Qwen3.5-2B и 0,2 млрд — эксперт действий на основе flow matching). Память охватывает последние 3 кадра с интервалом в 1 с.
• Запуск: протестирована на 1 NVIDIA H100. 21,8 мс на фрагмент действий, в скомпилированном виде, с 2 камер при разрешении 256×256. Веса поставляются в BF16. О выпуске квантованных вариантов не сообщалось.
• Производительность: лучший результат среди VLA, предварительно обученных на общедоступных данных, на LIBERO-Plus и RoboTwin Clean2Rand.
• Лучший результат: 90,4% на LIBERO-Plus — высший показатель в сравнении Kyutai.
• Худший результат: 38,4% на RoboCasa365 — значительно ниже, чем у Xiaomi-Robotics-1 (57,4%).

Что такое REKI?

REKI — это модель зрения, языка и действий от Kyutai, которая преобразует изображения с камер и инструкцию в действия робота. Она объединяет базовую модель Qwen3.5-2B с экспертом действий на 200 млн параметров. Эксперт генерирует фрагменты действий методом flow matching, интегрируя их за 10 шагов Эйлера. Состояние робота и время потока передаются через адаптивную RMSNorm. Для каждого формата состояния робота используется собственная небольшая MLP состояния.

Как работает память REKI?

Большинство VLA работают только с текущим кадром. Предыдущие методы работы с памятью передают прошлые кадры в VLM, разворачивают процесс обучения или добавляют отдельные модули. Каждый из этих вариантов увеличивает затраты.

Вместо этого REKI размещает память внутри эксперта действий. Перед токенами действий каждого кадра находятся 32 обучаемых токена-регистра. Они выполняют перекрёстное внимание к закодированной инструкции и изображениям с камер этого кадра. Кроме того, они выполняют самовнимание к регистрам предыдущих кадров.

Регистры никогда не считывают токены действий. Поэтому они зависят только от наблюдений, а не от времени потока или состояния робота. Они вычисляются один раз для каждого кадра и кэшируются в скользящем окне.

Согласно странице проекта, затраты невелики:

• Считывание кэшированных регистров добавляет 0,1 мс к фрагменту длительностью 21,8 мс.
• Кэш использует около 2 МиБ памяти GPU на каждый предыдущий кадр.
• При обучении окно из 3 кадров обрабатывается за один пакетный проход.

Память также устраняет один из режимов отказа. Без неё манипуляторы часто колеблются между двумя позами. На RoboTwin доля эпизодов с колебаниями снижается с 18,6% до 4,1% при использовании памяти. Kyutai связывает это с перцептивной неоднозначностью.

Как REKI показывает себя на тестах?

REKI предварительно обучается один раз, а затем отдельно дообучается для каждого теста. Приведённые ниже результаты взяты из карточки модели и со страницы проекта.

• LIBERO-Plus: 90,4%, выше, чем у Qwen-RobotManip (89,0%) и π0.5 (85,7%).
• RoboTwin Clean2Rand: 65,8%, уступает только Qwen-RobotManip (68,5%).
• RoboCasa365: 38,4%, выше, чем у RLDX-1 (36,0%) и Qwen-RobotManip (35,9%).
• LIBERO (4 набора): 97,6%.
• RoboTwin 2.0 Easy / Hard: 85,9% / 84,6%.

Предварительное обучение особенно помогает за пределами исходного распределения. На Clean2Rand оно добавляет 13,8 процентного пункта, а в условиях загромождённого пространства — 30,3 пункта. Память добавляет 1,5 пункта на LIBERO-Plus и 5,4 пункта на RoboCasa365.

Как REKI сравнивается с другими VLA?

Примечания: Средние значения Clean2Rand рассчитаны по 6 условиям из таблицы 5 отчёта Qwen-RobotManip. В отчёте Qwen для π0.5 указано значение 84,4 на LIBERO-Plus.

На каких данных обучалась REKI?

Смесь содержит 1,0 млрд кадров и 12,2 млн образцов «изображение — язык». На телеоперацию реальных роботов приходится 639,8 млн кадров, на симуляцию — 193,9 млн, а на видео людей от первого лица — 170,9 млн. Источники включают DROID, BridgeData V2, AgiBot World, EgoDex и EgoVerse. Предварительное обучение выполнялось в течение 200 000 шагов на 32 GPU H100. Kyutai сохраняет исходные соглашения управления каждого набора данных, не преобразуя действия.

Как развернуть REKI?

Перечислены шесть контрольных точек: предварительно обученная базовая модель, а также дообученные версии для LIBERO, RoboTwin (2 варианта), RoboCasa365 и RoboCasa-GR1. Для развертывания на реальном роботе используется протокол асинхронного вывода LeRobot gRPC. На манипуляторе UR5 REKI дообучали в течение 3 тыс. шагов (1 часа) на 50 демонстрациях для каждой задачи.

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset()  # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
                         state=proprio, task="put the bowl on the plate")

Основные выводы

• REKI — это VLA с 2,4 млрд параметров, предварительно обученная только на общедоступных данных.
• Она набирает 90,4% на LIBERO-Plus — лучший результат в сравнении Kyutai.
• 32 кэшированных токена-регистра обеспечивают память с дополнительными затратами всего 0,1 мс.
• Память снижает долю колебаний поз с 18,6% до 4,1% на RoboTwin.
• Веса открыты, но предназначены только для некоммерческого использования (CC BY-NC-SA 4.0).

Ознакомьтесь с статьёй, страницей проекта, весами модели и репозиторием GitHub. Все заслуги принадлежат исследователям этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь к нам можно присоединиться и в Telegram.