Знайомтеся: Kyutai REKI — VLA-модель із 2,4 млрд параметрів, що забезпечує ефективну пам’ять для роботизованих маніпуляцій

Kyutai спільно з Inria та École des Ponts випустила REKI — модель бачення-мови-дії (VLA) обсягом 2,4 млрд параметрів для маніпуляцій роботів. Модель бачення-мови-дії REKI попередньо навчена лише на загальнодоступних даних. Вона також має недорогу пам’ять про недавнє минуле. У трьох бенчмарках поза розподілом даних її перевершили лише моделі приблизно вдвічі більшого розміру. Усі ваги вже доступні на Hugging Face.

Коротко

• Розмір: 2,4 млрд параметрів (2,2 млрд у VLM Qwen3.5-2B + 0,2 млрд у експерта дій зі flow matching). Пам’ять охоплює останні 3 кадри з інтервалом в 1 с.
• Працює на: протестовано на 1 NVIDIA H100. 21,8 мс на фрагмент дій, після компіляції, з 2 камер із роздільною здатністю 256×256. Ваги постачаються у форматі BF16. Квантизовані версії не анонсувалися.
• Продуктивність: найкраща серед VLA, попередньо навчених на загальнодоступних даних, у LIBERO-Plus і RoboTwin Clean2Rand.
• Найкращий результат: 90,4% на LIBERO-Plus — найвищий показник у порівнянні Kyutai.
• Найгірший результат: 38,4% на RoboCasa365, що значно менше, ніж у Xiaomi-Robotics-1 (57,4%).

Що таке REKI?

REKI — це модель бачення-мови-дії від Kyutai, яка перетворює зображення з камер та інструкцію на дії робота. Вона поєднує основу Qwen3.5-2B з експертом дій на 200 млн параметрів. Експерт генерує фрагменти дій за допомогою flow matching, інтегрованого за 10 кроків Ейлера. Стан робота та час потоку надходять через адаптивну RMSNorm. Для кожної структури стану робота використовується власна невелика MLP стану.

Як працює пам’ять REKI?

Більшість VLA працюють лише з поточним кадром. Попередні методи пам’яті передають минулі кадри до VLM, розгортають навчання або додають модулі. Кожен варіант збільшує витрати.

Натомість REKI розміщує пам’ять усередині експерта дій. Перед токенами дій кожного кадру розташовані 32 навчені реєстрові токени. Вони виконують перехресну увагу до закодованої підказки та зображень цього кадру. Також вони виконують самоувагу до реєстрів попередніх кадрів.

Реєстри ніколи не зчитують токени дій. Тому вони залежать лише від спостережень, а не від часу потоку чи стану робота. Вони обчислюються один раз для кожного кадру та кешуються у ковзному вікні.

Витрати є невеликими, згідно зі сторінкою проєкту:

• Зчитування кешованих реєстрів додає 0,1 мс до фрагмента тривалістю 21,8 мс.
• Кеш використовує приблизно 2 МіБ пам’яті GPU на кожен попередній кадр.
• Під час навчання вікно з 3 кадрів об’єднується в один пакетний прохід.

Пам’ять також усуває один із режимів відмови. Без неї маніпулятори часто коливаються між 2 позами. На RoboTwin частка епізодів із коливаннями зменшується з 18,6% до 4,1% завдяки пам’яті. Kyutai пояснює це перцептивною неоднозначністю.

Як REKI працює на бенчмарках?

REKI попередньо навчається один раз, а потім окремо донавчається для кожного бенчмарку. Наведені нижче результати взято з картки моделі та сторінки проєкту.

• LIBERO-Plus: 90,4%, випереджаючи Qwen-RobotManip (89,0%) і π0.5 (85,7%).
• RoboTwin Clean2Rand: 65,8%, поступаючись лише Qwen-RobotManip (68,5%).
• RoboCasa365: 38,4%, випереджаючи RLDX-1 (36,0%) і Qwen-RobotManip (35,9%).
• LIBERO (4 набори): 97,6%.
• RoboTwin 2.0 Easy / Hard: 85,9% / 84,6%.

Попереднє навчання найбільше допомагає поза розподілом даних. Воно додає 13,8 бала на Clean2Rand і 30,3 бала в умовах захаращення. Пам’ять додає 1,5 бала на LIBERO-Plus і 5,4 бала на RoboCasa365.

Як REKI порівнюється з іншими VLA?

Примітки: Середні значення Clean2Rand обчислено за 6 умовами з таблиці 5 звіту Qwen-RobotManip. У звіті Qwen для π0.5 наведено результат 84,4 на LIBERO-Plus.

На яких даних навчали REKI?

Суміш містить 1,0 млрд кадрів і 12,2 млн зразків «бачення-мова». Телеметрія реальних роботів забезпечує 639,8 млн кадрів, симуляція — 193,9 млн, а відео людей від першої особи — 170,9 млн. Серед джерел — DROID, BridgeData V2, AgiBot World, EgoDex та EgoVerse. Попереднє навчання тривало 200 000 кроків на 32 графічних процесорах H100. Kyutai зберігає власні для кожного набору даних правила керування замість перепризначення дій.

Як розгорнути REKI?

У переліку є шість контрольних точок: попередньо навчена базова модель і донавчені версії для LIBERO, RoboTwin (2 варіанти), RoboCasa365 та RoboCasa-GR1. Для розгортання на реальному роботі використовується протокол gRPC асинхронного виведення LeRobot. На маніпуляторі UR5 REKI донавчали протягом 3 тис. кроків (1 година) на 50 демонстраціях для кожного завдання.

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset()  # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
                         state=proprio, task="put the bowl on the plate")

Основні висновки

• REKI — це VLA обсягом 2,4 млрд параметрів, попередньо навчена лише на загальнодоступних даних.
• Вона набирає 90,4% на LIBERO-Plus — найкращий результат у порівнянні Kyutai.
• 32 кешовані реєстрові токени забезпечують пам’ять із додатковими витратами 0,1 мс.
• Пам’ять зменшує коливання поз із 18,6% до 4,1% на RoboTwin.
• Ваги відкриті, але некомерційні (CC BY-NC-SA 4.0).

Ознайомтеся з науковою статтею, сторінкою проєкту, вагами моделі та репозиторієм GitHub. Уся подяка дослідникам цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого ML SubReddit із понад 150 тис. учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.