Обучение в симулация, внедряване върху реален робот: Microduck с Isaac Lab 3.0
Тази публикация е написана в сътрудничество с Antoine Pirrone, Augustin Crampette, Matthieu Lapeyre, Coralie Deplanne, Anne-Charlotte Passanisi и Thomas Wolf.
Накратко
Microduck е нов достъпен двукрак робот с отворен код, разработен от Pollen Robotics и Hugging Face. А сега можете да обучите Microduck да ходи с Isaac Lab и Newton. Тествайте политиката, експортирайте я като ONNX и я внедрете на реалния робот. Споделете я в Hugging Face Hub или я валидирайте за състезание в Microduck Arena, след което изследвайте по-напреднали задачи с NVIDIA Isaac Lab.
Въведение
Политиката за ходене, обучена в симулация, трябва да се справя и с триенето, закъсненията и механичната хлабина на сервомоторите на реалния робот.. NVIDIA Isaac Lab е рамка с отворен код за обучение на политики в хиляди паралелни GPU симулации. С Newton, моделиране на актуаторите и рандомизация на домейна разработчиците могат да подготвят политики за реален хардуер. Microduck превръща този работен процес в реалност: обучете политика за ходене в симулация, експортирайте я като ONNX и я внедрете на реален двукрак робот.
Този урок ви превежда през обучението и оценяването на Microduck с Isaac Lab и Newton, а след това и през експортирането на политиката за внедряване. Оттам можете да споделите модела си в Hugging Face Hub, да тествате съвместимостта му и да участвате в Microduck Arena или да го използвате на своя собствен Microduck. Ходенето е началната точка — свързаните примери ще ви помогнат да изследвате повече възможности на Isaac Lab 3.0.
1. Инсталирайте Isaac Lab и се подгответе за обучение на Microduck
За симулацията и обучението ще ви е необходимо:
Linux работна станция с поддържан NVIDIA GPU и драйвер. Вижте изискванията.
Git и uv.
За внедряването ще ви е необходимо също:
Конфигуриран физически Microduck.
Инсталиран и работещ бордов софтуер на робота.
Поддържан интерфейс за управление, например свързан геймпад.
Бърза инсталация
В Linux с поддържан NVIDIA GPU и драйвер инсталирайте uv (пропуснете първите два реда, ако вече е наличен), клонирайте Isaac Lab и инсталирайте зависимостите му:
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
git clone --branch develop https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
uv sync
Потвърдете, че задачите и готовите конфигурации за Microduck са налични:
uv run isaaclab list_envs --keyword MicroDuck --show_presets
2. Запознайте се с готовата за обучение среда на Microduck
Isaac Lab вече предоставя модела на робота Microduck, сцената, наблюденията, действията, наградите и рандомизацията на домейна. Започнете със задачата за ходене по равна повърхност; вариантът с неравен терен добавя стълби, наклони и неравен терен.
Фигура 2. Средите на Microduck една до друга: равен терен (вляво) и неравен терен (вдясно).
Политиката приема 61 стойности на наблюдението и извежда 14 позиции на ставите. При експортиране и внедряване запазете реда на наблюденията, нормализацията и мащабирането на действията. Вижте конфигурацията на задачата Microduck за пълните наблюдения, награди и настройки на симулацията.
3. Ускорете обучението на придвижването с паралелни среди на Isaac Lab
Isaac Lab ускорява обучението на придвижването на Microduck, като изпълнява симулирани среди паралелно върху GPU. Isaac Lab може също да изпълнява разпределено обучение върху няколко GPU, например обучение с 16 GPU за ускоряване на процеса и повишаване на устойчивостта. При тази конфигурация можем да достигнем до 1,25 млн. стъпки в секунда при неравен терен и активирана хлабина.
В този урок използваме Newton с решаващия алгоритъм MJWarp и по-добри модели на актуаторите, базирани на Newton (BAM), за моделиране на реакцията на сервомоторите, заедно с готовата конфигурация за хлабина, която превръща целевите позиции в реалистични въртящи моменти на сервомоторите чрез моделиране на фърмуерния контролер, електрическите ограничения на двигателя, триенето и закъснението. За да позволим на политиката да се пренесе от симулацията, използваме рандомизация на домейна. При всяко роботче рандомизираме масата/центъра на масата, триенето със земята, инерцията на ставите, отместванията на енкодерите, напрежението/спада на батерията и закъснението на командите. Променяме също терена и прилагаме тласъци, както и хлабината независимо за всяка става, за да представим неравномерното износване.
Хлабината е механичната луфтова разлика в редуктора: когато една става промени посоката си, предаването може леко да се премести, преди да се задейства. Моделирането на този ефект и промяната му между ставите по време на обучението излага политиката на различията, с които може да се сблъска на реалния робот.
Изпълнете тази команда, за да стартирате обучението:
uv run isaaclab train \
--rl_library rsl_rl \
--task IsaacContrib-Velocity-Rough-MicroDuck \
--num_envs 4096 \
presets=backlash
Използвахме неравния терен за внедряването, но можете алтернативно да обучите средата с равен терен със следната команда:
uv run isaaclab train \
--rl_library rsl_rl \
--task IsaacContrib-Velocity-Flat-MicroDuck \
--num_envs 4096 \
presets=backlash
4. Оценете политиката за ходене на Microduck и я експортирайте в ONNX
За да внедрите политика за ходене на физическия робот Microduck, експортирайте я в ONNX след оценяването ѝ в симулация. Работният процес за възпроизвеждане на RSL-RL в Isaac Lab автоматично експортира файлове TorchScript (policy.pt) и ONNX (policy.onnx). Използвайте policy.onnx с бордовата среда за изпълнение на Microduck, като запазите реда на наблюденията, нормализацията и мащабирането на действията, използвани при обучението.
Стартирайте последната контролна точка във визуализатора на Newton:
uv run isaaclab play \
--rl_library rsl_rl \
--task IsaacContrib-Velocity-Rough-MicroDuck \
--checkpoint latest \
--num_envs 16 \
--viz newton_gl \
presets=backlash
Заменете latest с пътя към конкретна контролна точка.
Фигура 4. Microduck роботи изпълняват политика за ходене по неравен терен в симулация.
Експортирайте политиката за Microduck
За внедряването ще използваме политиката за средата с неравен терен. Текущата реализация за възпроизвеждане на RSL-RL експортира файлове TorchScript и ONNX в директория exported, свързана с избраното изпълнение:
exported/
├── policy.pt
└── policy.onnx
Бордовата среда за изпълнение на Microduck зарежда ONNX политики. Използвайте policy.onnx за предаване към хардуера. Автоматичното експортиране е реализирано в бекенда за възпроизвеждане на RSL-RL на Isaac Lab.
5. Споделяйте политики в Hugging Face и ги оценявайте в Microduck Arena
След като експортирате policy.onnx, можете да:
Я сравните в Microduck Arena — Hugging Face Space за тестване на съвместими политики в общи предизвикателства и сравняване на резултатите в класацията. Arena приема модели с 61 стойности на наблюдението, 14 стойности на действията и максимален размер 64 MiB. Следвайте ръководството за изпращане, за да проверите съвместимостта и да се включите в предизвикателство.
Да я стартирате на реален Microduck. След като проверите интерфейса за наблюдения и действия от раздел 4, използвайте ONNX файла с бордовата среда за изпълнение на робота; раздел 6 разглежда прехвърлянето към хардуера.
Да я споделите в Hugging Face Hub. Качете политиката си, за да могат други да я откриват и изтеглят. Препоръчваме да добавите кратка карта на модела, обясняваща как се използва. Можете също да включите конфигурацията за обучение, за да помогнете на други да възпроизведат резултатите ви.
6. Внедрете ONNX политиката за придвижване на реален Microduck
След като валидирате политиката в симулация и проверите интерфейса ѝ (раздел 4), внедрете policy.onnx на конфигуриран Microduck:
- Копирайте политиката от работната си станция, като замените ROBOT_HOST с името на хоста или IP адреса на робота:
scp exported/policy.onnx microduck@ROBOT_HOST:/home/microduck/my_walking.onnx
- Свържете се с робота и прегледайте текущите му политики:
ssh microduck@ROBOT_HOST
robotctl policy list
- Подпрете робота на стойката му, след което заредете политиката за ходене. Ако той вече ходи, зареждането го връща в изходна поза и възобновява движението.
sudo robotctl policy load walk /home/microduck/my_walking.onnx
- Използвайте документираните контроли, за да тествате изправянето, бавното ходене, завиването и спирането. Наблюдавайте състоянието му; при необходимост възстановете стандартната политика за ходене:
robotctl monitor
sudo robotctl policy reset walk
Следвайте ръководството за зареждане на политики на Microduck за настройка и поведение на средата за изпълнение. Фигура 5 демонстрира устойчивостта на внедрената политика при падания: Microduck възстановява равновесието си и продължава да ходи, след като е бил съборен.
Фигура 5. Реален Microduck ходи с политиката за придвижване, обучена в Isaac Lab.
7. Разширете обучението на Microduck към неравен терен и задачи за възприятие с Isaac Lab
Isaac Lab 3.0 отключва паралелно върху GPU обучение на роботи за придвижване, сръчна манипулация и задачи, базирани на зрение, с разширяеми среди и конфигурируеми бекенди за физика и рендиране. Разгледайте тези примери и инструменти:
По-сложно придвижване: Адаптирайте задачата на Microduck за неравен терен за стълби, наклони и неравна земя, с учебна програма, която увеличава трудността на терена.
Задачи за възприятие и навигация: Разширете политиката за ходене на Microduck с дълбочина от камерата на главата и наблюдения на състоянието на робота, за да изследвате задачи, базирани на възприятие, в симулация. GIF изображението по-долу показва преминаване по рампа. Разгледайте базирани на камера наблюдения в примерите Kuka–Allegro за манипулация с активирано зрение.
Сръчна манипулация: Опитайте задачите Kuka–Allegro за повдигане и преориентиране, за да обучите ръка и многопръста длан да манипулират обекти.
Персонализирани среди: Използвайте генератора на проекти, за да създадете собствена задача, след което добавете готови за симулация (SimReady) активи от SimReady Central Library и адаптирайте наблюденията и наградите към нови предизвикателства.
Фигура 7. Паралелното обучение в NVIDIA Isaac Lab позволява на симулираните Microduck роботи да се упражняват в преминаване по различни рампи и платформи, докато се учат да поддържат равновесие и да избягват падания
Фигура 8. Задача за възприятие на Microduck в симулация, с външен изглед отгоре и RGB, дълбочинен и сегментационен изглед отдолу.
Създайте следващата си политика за ходене
Започнете със задачата Microduck в Isaac Lab, обучете първата си политика за ходене и споделете експортирания ONNX модел в Hugging Face Hub. Валидирайте го в Microduck Arena, включете се в предизвикателство и вижте как се сравнява политиката ви. След това надградете наученото — опитайте по-неравен терен, добавете възприятие или създайте собствена задача.
Ресурси
Начална страница на Microduck (поръчка, бърз старт, инсталация)
Благодарности
Този работен процес се основава на хардуера и софтуера Microduck на Pollen Robotics, оригиналния проект за обучение с подсилване на Microduck, работата по моделирането на актуаторите BAM и интеграциите на Isaac Lab и Newton.
Пространства, споменати в тази статия 1
Още от този автор
Общност
· Регистрирайте се или влезте, за да коментирате
Пространства, споменати в тази статия 1
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.