Навчання в симуляції, розгортання на реальному роботі: Microduck з Isaac Lab 3.0

Цей допис написано у співпраці з Antoine Pirrone, Augustin Crampette, Matthieu Lapeyre, Coralie Deplanne, Anne-Charlotte Passanisi та Thomas Wolf.

Коротко

Microduck — нещодавно випущений доступний двоногий робот із відкритим кодом від Pollen Robotics і Hugging Face. Тепер ви можете навчити Microduck ходити за допомогою Isaac Lab і Newton. Протестуйте політику, експортуйте її у формат ONNX і розгорніть на реальному роботі. Поділіться нею на Hugging Face Hub або перевірте її для участі в змаганні Microduck Arena, а потім досліджуйте складніші завдання за допомогою NVIDIA Isaac Lab.

Вступ

Політика ходьби, навчена в симуляції, також має враховувати тертя, затримки та механічний люфт сервоприводів реального робота. NVIDIA Isaac Lab — це фреймворк із відкритим кодом для навчання політик у тисячах паралельних симуляцій на GPU. За допомогою Newton, моделювання приводів і рандомізації предметної області розробники можуть готувати політики для реального обладнання. Microduck втілює цей робочий процес у життя: навчіть політику ходьби в симуляції, експортуйте її у формат ONNX і розгорніть на реальному двоногому роботі.

У цьому посібнику описано навчання та оцінювання Microduck за допомогою Isaac Lab і Newton, а також експорт політики для розгортання. Після цього ви зможете поділитися моделлю на Hugging Face Hub, перевірити її сумісність і взяти участь у Microduck Arena або застосувати її на власному Microduck. Ходьба — це лише початок: за наведеними посиланнями можна дослідити інші можливості Isaac Lab 3.0.

1. Встановлення Isaac Lab і підготовка до навчання Microduck

Для симуляції та навчання вам знадобляться:

• Робоча станція Linux із підтримуваним GPU NVIDIA та драйвером. Див. вимоги.

• Git і uv.

Для розгортання також знадобляться:

• Налаштований фізичний Microduck.

• Встановлене та працездатне бортове програмне забезпечення робота.

• Підтримуваний інтерфейс керування, наприклад під’єднаний геймпад.

Швидке встановлення

У Linux із підтримуваними GPU NVIDIA та драйвером встановіть uv (пропустіть перші два рядки, якщо він уже доступний), клонуйте Isaac Lab і встановіть його залежності:

curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
git clone --branch develop https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
uv sync

Переконайтеся, що завдання та набори налаштувань Microduck доступні:

uv run isaaclab list_envs --keyword MicroDuck --show_presets

2. Ознайомлення з готовим до навчання середовищем Microduck

Isaac Lab уже містить модель робота Microduck, сцену, спостереження, дії, винагороди та рандомізацію предметної області. Почніть із завдання ходьби по рівній поверхні; варіант із нерівною поверхнею додає сходи, схили та нерівний рельєф.

Рисунок 2. Середовища Microduck поруч: рівний рельєф (ліворуч) і нерівний рельєф (праворуч).

Політика отримує 61 значення спостережень і видає 14 значень положень суглобів. Під час експорту та розгортання зберігайте однаковими порядок спостережень, нормалізацію та масштабування дій. Повний перелік спостережень, винагород і налаштувань симуляції наведено в конфігурації завдання Microduck.

3. Прискорення навчання пересування за допомогою паралельних середовищ Isaac Lab

Isaac Lab прискорює навчання пересування Microduck, запускаючи змодельовані середовища паралельно на GPU. Isaac Lab також може виконувати розподілене навчання на кількох GPU, наприклад навчання на 16 GPU для його пришвидшення та підвищення надійності. У цій конфігурації можна досягти швидкості до 1,25 млн кроків за секунду на нерівному рельєфі з увімкненим люфтом.

У цьому посібнику ми використовуємо Newton із розв’язувачем MJWarp і моделями приводів Better Actuator Models (BAM) на основі Newton для моделювання реакції сервоприводів, а також набір налаштувань люфту, щоб перетворювати цільові положення на реалістичні крутні моменти сервоприводів із моделюванням контролера мікропрограми, електричних обмежень двигуна, тертя та затримки. Щоб політика могла перенестися із симуляції, ми використовуємо рандомізацію предметної області. Для кожної качки ми рандомізуємо масу/центр мас, тертя поверхні, інерцію суглобів, зміщення енкодерів, напругу/просідання акумулятора та затримку команд. Ми також змінюємо рельєф і застосовуємо поштовхи, а також незалежно задаємо люфт для кожного суглоба, щоб відтворити нерівномірний знос.

Люфт — це механічний зазор у редукторі: коли суглоб змінює напрямок, передача може трохи переміститися, перш ніж увімкнутися. Моделювання цього ефекту та його варіювання між суглобами під час навчання знайомить політику з відмінностями, з якими вона може зіткнутися на реальному роботі.

Запустіть навчання цією командою:

uv run isaaclab train \
  --rl_library rsl_rl \
  --task IsaacContrib-Velocity-Rough-MicroDuck \
  --num_envs 4096 \
  presets=backlash

Для розгортання ми використовували нерівний рельєф, але натомість можна навчати середовище з рівним рельєфом цією командою:

uv run isaaclab train \
  --rl_library rsl_rl \
  --task IsaacContrib-Velocity-Flat-MicroDuck \
  --num_envs 4096 \
  presets=backlash

4. Оцінювання політики ходьби Microduck та її експорт у формат ONNX

Щоб розгорнути політику ходьби Microduck на фізичному роботі, після оцінювання в симуляції експортуйте її у формат ONNX. Процес відтворення RSL-RL в Isaac Lab автоматично експортує файли TorchScript (policy.pt) і ONNX (policy.onnx). Використовуйте policy.onnx із бортовим середовищем виконання Microduck, зберігаючи порядок спостережень, нормалізацію та масштабування дій такими самими, як під час навчання.

Запустіть останню контрольну точку у візуалізаторі Newton:

uv run isaaclab play \
  --rl_library rsl_rl \
  --task IsaacContrib-Velocity-Rough-MicroDuck \
  --checkpoint latest \
  --num_envs 16 \
  --viz newton_gl \
  presets=backlash

Замініть latest шляхом до певної контрольної точки.

Рисунок 4. Microduck виконують політику ходьби на нерівному рельєфі в симуляції.

Експорт політики для Microduck

Для розгортання ми використовуватимемо політику для середовища з нерівним рельєфом. Поточна реалізація відтворення RSL-RL експортує файли TorchScript і ONNX до каталогу exported, пов’язаного з вибраним запуском:

exported/
├── policy.pt
└── policy.onnx

Бортове середовище виконання Microduck завантажує політики ONNX. Для передачі на апаратне забезпечення використовуйте policy.onnx. Автоматичний експорт реалізовано в бекенді відтворення RSL-RL Isaac Lab.

5. Поширення політик на Hugging Face та їх оцінювання в Microduck Arena

Після експорту policy.onnx ви можете:

• Порівняти її в Microduck Arena — Hugging Face Space для тестування сумісних політик у спільних завданнях і порівняння результатів у таблиці лідерів. Arena приймає моделі з 61 значенням спостережень, 14 значеннями дій і максимальним розміром 64 МіБ. Дотримуйтеся посібника з подання, щоб перевірити сумісність і взяти участь у змаганні.

• Запустити її на реальному Microduck. Перевіривши інтерфейс спостережень і дій у розділі 4, використайте файл ONNX із бортовим середовищем виконання робота; перенесення на апаратне забезпечення описано в розділі 6.

• Поділитися нею на Hugging Face Hub. Завантажте політику, щоб інші могли знайти та завантажити її. Рекомендуємо додати коротку картку моделі з поясненням способу її використання. Також можна додати конфігурацію навчання, щоб інші могли відтворити ваші результати.

6. Розгортання політики пересування ONNX на реальному Microduck

Після перевірки політики в симуляції та її інтерфейсу (розділ 4) розгорніть policy.onnx на налаштованому Microduck:

1. Скопіюйте політику з робочої станції, замінивши ROBOT_HOST на ім’я хоста або IP-адресу робота:

scp exported/policy.onnx microduck@ROBOT_HOST:/home/microduck/my_walking.onnx

1. Під’єднайтеся до робота та перегляньте його поточні політики:

ssh microduck@ROBOT_HOST
robotctl policy list

1. Підтримуйте робота на підставці, а потім завантажте політику ходьби. Якщо він уже ходить, завантаження поверне його в початкову позу та відновить рух.

sudo robotctl policy load walk /home/microduck/my_walking.onnx

1. Використовуйте задокументовані елементи керування, щоб перевірити стояння, повільну ходьбу, повороти та зупинку. Стежте за його станом; за потреби відновіть стандартну політику ходьби:

robotctl monitor
sudo robotctl policy reset walk

Дотримуйтеся посібника із завантаження політик Microduck щодо налаштування середовища виконання та поведінки. На рисунку 5 продемонстровано стійкість розгорнутої політики до падінь: Microduck відновлює опору та продовжує йти після перекидання.

Рисунок 5. Реальний Microduck іде за політикою пересування, навченою в Isaac Lab.

7. Розширення навчання Microduck для нерівного рельєфу та завдань сприйняття за допомогою Isaac Lab

Isaac Lab 3.0 відкриває можливості паралельного навчання роботів на GPU для пересування, вправного маніпулювання та завдань на основі зору, із розширюваними середовищами та налаштовуваними бекендами фізики й рендерингу. Дослідіть ці приклади та інструменти:

• Складніше пересування: адаптуйте завдання Microduck на нерівному рельєфі для сходів, схилів і нерівної поверхні, використовуючи навчальну програму, яка поступово підвищує складність рельєфу.

• Завдання на сприйняття та навігацію: доповніть політику ходьби Microduck даними про глибину з камери на голові та стан робота, щоб досліджувати завдання на основі сприйняття в симуляції. На GIF нижче показано подолання рампи. Ознайомтеся зі спостереженнями на основі камер у прикладах Kuka–Allegro для маніпулювання з використанням зору.

• Вправне маніпулювання: спробуйте завдання Kuka–Allegro з піднімання та переорієнтації, щоб навчити руку й багатопалу кисть маніпулювати об’єктами.

• Власні середовища: скористайтеся генератором проєктів, щоб створити власне завдання, потім додайте готові до симуляції (SimReady) ресурси з SimReady Central Library і адаптуйте спостереження та винагороди до нових завдань.

Рисунок 7. Паралельне навчання в NVIDIA Isaac Lab дає змогу змодельованим Microduck тренуватися долати різні рампи та платформи, водночас навчаючись утримувати рівновагу й уникати падінь

Рисунок 8. Завдання на сприйняття Microduck у симуляції: зверху показано зовнішній вигляд, а знизу — зображення RGB, глибини та сегментації.

Створіть свою наступну політику ходьби

Почніть із завдання Microduck в Isaac Lab, навчіть свою першу політику ходьби та поділіться експортованою моделлю ONNX на Hugging Face Hub. Перевірте її в Microduck Arena, візьміть участь у змаганні та порівняйте свою політику з іншими. Потім розвивайте здобуті знання — спробуйте складніший рельєф, додайте сприйняття або створіть власне завдання.

Ресурси

• Домашня сторінка Microduck (замовлення, швидкий старт, встановлення)

• Посібник зі встановлення Isaac Lab

• Середовища та конфігурація навчання Microduck

• Документація щодо приводів BAM на основі Newton

• Посібник із Microduck Arena та подання ONNX

• SimReady Central Library

• Посібник із програмного забезпечення робота Microduck і розгортання

Подяки

Цей робочий процес ґрунтується на апаратному та програмному забезпеченні Microduck від Pollen Robotics, оригінальному проєкті навчання Microduck з підкріпленням, роботах із моделювання приводів BAM, а також інтеграціях Isaac Lab і Newton.

Простори, згадані в цій статті 1

Інші матеріали цього автора

NVIDIA Kumo Forecast поєднує попередньо навчені представлення часових рядів з пошуком історичних шаблонів та інтерпретованістю

• 

6

21 жовтня 2026 року

NVIDIA Kumo Anomaly упроваджує виявлення аномалій на основі дифузії для багатовимірних часових рядів

• 

5

21 жовтня 2026 року