NVIDIA IsaacTeleop преобразует XR-трекинг в команды для роботов
В учебном материале рассматривается механизм ретаргетинга NVIDIA IsaacTeleop, который преобразует данные XR-трекинга рук и контроллеров движения в команды для симулированных и реальных роботов. Для демонстрации не требуются гарнитура, среда OpenXR или симулятор: все входные данные создаются с помощью NumPy, а вычисления выполняются на процессоре в Colab и выводятся по шагам.
Данные организованы через типизированные структуры TensorGroup. HandInput описывает 26 суставов руки OpenXR, а ControllerInput включает поля для позиций, ориентаций, признаков валидности, кнопок и аналоговых элементов управления. При записи система проверяет типы, а обращение к незаполненному полю вызывает ошибку, не возвращая устаревшее значение. Необязательные группы позволяют обозначить потерю отслеживания.
В материале также создан собственный ретаргетер для определения щипка с настраиваемым порогом и выбором суставов, участвующих в измерении. Затем демонстрируются встроенные ретаргетеры Gripper и SE(3), объединение узлов в граф, выдающий вектор действия на каждом шаге, и преобразование в мировую систему координат. Отдельно показаны запуск, пауза и остановка автомата состояний, сопоставление контроллера с роботизированной кистью и сохранение параметров между перезапусками.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.