Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← К новостям

NVIDIA IsaacTeleop преобразует XR-трекинг в команды для роботов

В учебном материале рассматривается механизм ретаргетинга NVIDIA IsaacTeleop, который преобразует данные XR-трекинга рук и контроллеров движения в команды для симулированных и реальных роботов. Для демонстрации не требуются гарнитура, среда OpenXR или симулятор: все входные данные создаются с помощью NumPy, а вычисления выполняются на процессоре в Colab и выводятся по шагам.

Данные организованы через типизированные структуры TensorGroup. HandInput описывает 26 суставов руки OpenXR, а ControllerInput включает поля для позиций, ориентаций, признаков валидности, кнопок и аналоговых элементов управления. При записи система проверяет типы, а обращение к незаполненному полю вызывает ошибку, не возвращая устаревшее значение. Необязательные группы позволяют обозначить потерю отслеживания.

В материале также создан собственный ретаргетер для определения щипка с настраиваемым порогом и выбором суставов, участвующих в измерении. Затем демонстрируются встроенные ретаргетеры Gripper и SE(3), объединение узлов в граф, выдающий вектор действия на каждом шаге, и преобразование в мировую систему координат. Отдельно показаны запуск, пауза и остановка автомата состояний, сопоставление контроллера с роботизированной кистью и сохранение параметров между перезапусками.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости