Запознайте се с Kyutai REKI: VLA моделът с 2,4 млрд. параметъра, осигуряващ ефективна памет за роботизирани манипулации

Kyutai, съвместно с Inria и École des Ponts, пусна REKI — модел за зрение-език-действие (VLA) с 2,4B параметъра за роботизирана манипулация. Моделът REKI за зрение-език-действие е предварително обучен единствено с публични данни. Той разполага и с евтина памет за близкото минало. При три бенчмарка извън разпределението само модели с приблизително два пъти повече параметри го превъзхождат. Всички тегла са достъпни в Hugging Face още днес.

Накратко

• Размер: 2,4B параметъра (2,2B Qwen3.5-2B VLM + 0,2B експерт за действия с flow matching). Паметта обхваща последните 3 кадъра, заснети през 1 секунда.
• Работи на: Тестван е на 1 NVIDIA H100. 21,8 ms за пакет от действия, с компилация, от 2 камери с резолюция 256×256. Теглата се разпространяват във формат BF16. Не са обявени квантизирани варианти.
• Производителност: Най-добър сред VLA моделите, предварително обучени с публични данни, на LIBERO-Plus и RoboTwin Clean2Rand.
• Най-добър резултат: 90,4% на LIBERO-Plus — най-високият резултат в сравнението на Kyutai.
• Най-слаб резултат: 38,4% на RoboCasa365, значително зад Xiaomi-Robotics-1 (57,4%).

Какво представлява REKI?

REKI е модел за зрение-език-действие от Kyutai, който преобразува изображенията от камерите и инструкцията в действия на робота. Той комбинира Qwen3.5-2B като основен модел с експерт за действия с 200M параметъра. Експертът генерира пакети от действия чрез flow matching, интегриран в 10 стъпки на Ойлер. Състоянието на робота и времето на потока се подават чрез адаптивен RMSNorm. Всеки формат на състоянието на робота има собствен малък MLP за състоянието.

Как работи паметта на REKI?

Повечето VLA модели действат само въз основа на текущия кадър. Предишните методи за памет подават минали кадри към VLM, развиват последователността по време на обучението или добавят модули. Всеки от тези варианти увеличава разходите.

Вместо това REKI поставя паметта в самия експерт за действия. Преди токените за действията на всеки кадър се намират 32 научени регистърни токена. Те извършват cross-attention към кодираното указание и изгледите от този кадър. Също така извършват self-attention към регистрите от по-ранните кадри.

Регистрите никога не прочитат токените за действията. Следователно те зависят единствено от наблюденията, а не от времето на потока или състоянието на робота. Изчисляват се веднъж за всеки кадър и се кешират в плъзгащ се прозорец.

Разходът е малък, според страницата на проекта:

• Прочитането на кешираните регистри добавя 0,1 ms към пакет от 21,8 ms.
• Кешът използва около 2 MiB GPU памет за всеки предишен кадър.
• При обучението прозорец от 3 кадъра се обработва в 1 пакетен проход.

Паметта също така отстранява един проблем при неуспех. Без нея ръцете често осцилират между 2 пози. В RoboTwin делът на епизодите с осцилации намалява от 18,6% на 4,1% при използване на памет. Kyutai отдава това на перцептивна алиасингова неопределеност.

Как се представя REKI на бенчмарковете?

REKI се подлага на предварително обучение веднъж, след което се дообучава отделно за всеки бенчмарк. Резултатите по-долу са от картата на модела и страницата на проекта.

• LIBERO-Plus: 90,4%, пред Qwen-RobotManip (89,0%) и π0.5 (85,7%).
• RoboTwin Clean2Rand: 65,8%, зад единствено Qwen-RobotManip (68,5%).
• RoboCasa365: 38,4%, пред RLDX-1 (36,0%) и Qwen-RobotManip (35,9%).
• LIBERO (4 набора): 97,6%.
• RoboTwin 2.0 Easy / Hard: 85,9% / 84,6%.

Предварителното обучение помага най-много извън разпределението. То добавя 13,8 пункта при Clean2Rand и 30,3 при наличие на безпорядък. Паметта добавя 1,5 пункта на LIBERO-Plus и 5,4 на RoboCasa365.

Как се сравнява REKI с други VLA модели?

Бележки: Средните стойности за Clean2Rand са изчислени от 6-те условия в Таблица 5 на доклада за Qwen-RobotManip. В доклада на Qwen π0.5 е посочен с резултат 84,4 на LIBERO-Plus.

С какви данни е обучен REKI?

Сместа съдържа 1,0B кадъра плюс 12,2M образци за зрение-език. Телеперацията на реални роботи осигурява 639,8M кадъра, симулациите — 193,9M, а човешкото видео от първо лице — 170,9M. Източниците включват DROID, BridgeData V2, AgiBot World, EgoDex и EgoVerse. Предварителното обучение е извършено с 200 000 стъпки на 32 H100 GPU. Kyutai запазва естествената конвенция за управление на всеки набор от данни, вместо да преобразува действията.

Как се внедрява REKI?

Посочени са шест контролни точки: предварително обученият базов модел плюс дообучени версии за LIBERO, RoboTwin (2 варианта), RoboCasa365 и RoboCasa-GR1. Внедряването върху реален робот използва gRPC протокола за асинхронно извеждане на LeRobot. На роботизирана ръка UR5 REKI е дообучен с 3k стъпки (1 час) върху 50 демонстрации за задача.

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset()  # изчиства кеша на регистрите в началото на епизода
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
                         state=proprio, task="постави купата върху чинията")

Основни изводи

• REKI е VLA модел с 2,4B параметъра, предварително обучен единствено с публични данни.
• Той постига 90,4% на LIBERO-Plus — най-високият резултат в сравнението на Kyutai.
• 32 кеширани регистърни токена осигуряват памет с допълнителен разход от 0,1 ms.
• Паметта намалява осцилациите на позата от 18,6% на 4,1% в RoboTwin.
• Теглата са отворени, но не са предназначени за търговска употреба (CC BY-NC-SA 4.0).

Разгледайте научната статия, страницата на проекта, теглата на модела и GitHub репозитория. Всички заслуги са за изследователя на този проект. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.