Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← До новин

NVIDIA IsaacTeleop перетворює XR-трекінг на команди для роботів

Навчальний матеріал розглядає механізм ретаргетингу NVIDIA IsaacTeleop, який перетворює дані XR-відстеження рук і контролерів руху на команди для симульованих та реальних роботів. Для демонстрації не потрібні гарнітура, середовище OpenXR чи симулятор: усі вхідні дані створюються за допомогою NumPy, а обчислення виконуються на процесорі в Colab і виводяться на кожному етапі.

Дані організовані через типізовані структури TensorGroup. HandInput описує 26 суглобів руки OpenXR, тоді як ControllerInput містить поля для позицій, орієнтацій, ознак дійсності, кнопок і аналогових елементів керування. Під час запису система перевіряє типи, а звернення до незаповненого поля спричиняє помилку, не повертаючи застаріле значення. Необов’язкові групи дають змогу позначити втрату трекінгу.

У матеріалі також створено власний ретаргетер для визначення щипка з регульованим порогом і вибором суглобів для вимірювання. Далі показано вбудовані ретаргетери Gripper і SE(3), об’єднання вузлів у граф, який на кожному кроці формує вектор дії, та перетворення у світову систему координат. Розглянуто запуск, паузу й зупинку автомата станів, зіставлення контролера з роботизованою кистю та збереження параметрів після перезапуску.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини