NVIDIA IsaacTeleop перетворює XR-трекінг на команди для роботів
Навчальний матеріал розглядає механізм ретаргетингу NVIDIA IsaacTeleop, який перетворює дані XR-відстеження рук і контролерів руху на команди для симульованих та реальних роботів. Для демонстрації не потрібні гарнітура, середовище OpenXR чи симулятор: усі вхідні дані створюються за допомогою NumPy, а обчислення виконуються на процесорі в Colab і виводяться на кожному етапі.
Дані організовані через типізовані структури TensorGroup. HandInput описує 26 суглобів руки OpenXR, тоді як ControllerInput містить поля для позицій, орієнтацій, ознак дійсності, кнопок і аналогових елементів керування. Під час запису система перевіряє типи, а звернення до незаповненого поля спричиняє помилку, не повертаючи застаріле значення. Необов’язкові групи дають змогу позначити втрату трекінгу.
У матеріалі також створено власний ретаргетер для визначення щипка з регульованим порогом і вибором суглобів для вимірювання. Далі показано вбудовані ретаргетери Gripper і SE(3), об’єднання вузлів у граф, який на кожному кроці формує вектор дії, та перетворення у світову систему координат. Розглянуто запуск, паузу й зупинку автомата станів, зіставлення контролера з роботизованою кистю та збереження параметрів після перезапуску.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.