NVIDIA IsaacTeleop превръща XR проследяването в роботизирани действия
Урок разглежда двигателя за ретаргетиране в основата на NVIDIA IsaacTeleop — рамка, която преобразува проследяването на ръце в XR и входа от контролери за движение в команди за симулирани и реални роботи. Демонстрацията не използва слушалки, OpenXR среда или симулатор. Всички входни данни се създават с NumPy и се обработват на процесор в Colab, като междинните изчисления се извеждат.
Двигателят организира данните чрез типизирани структури TensorGroup. HandInput описва 26 стави на ръката от OpenXR, а ControllerInput съдържа полета за пози, ориентации, валидност, бутони и аналогови контроли. Типовете се проверяват при запис, а липсващите стойности не се заменят мълчаливо със стари данни. Незадължителните групи показват кога проследяването е прекъснато.
В урока е създаден и собствен ретаргетър за разпознаване на щипка с променлив праг и избор на стави. Следват вградените ретаргетъри за захват и SE(3), граф, който генерира вектор на действие при всяка стъпка, и преобразуване в световна координатна система. Разглеждат се още паузиране и спиране на машината на състоянията, съпоставяне на контролер с подвижна ръка и запазване на настройките след рестартиране.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.