Представяме SimReady Central: отворена библиотека от готови за симулация 3D активи за роботика и фабрики за изкуствен интелект
Създаването на роботизирани симулации и цифрови двойници на фабрики за изкуствен интелект с висока степен на реалистичност изисква повече от 3D модели. Разработчиците често трябва да добавят свойства като геометрия на сблъсъците, маса и триене. SimReady активите са 3D модели, подготвени със свойствата, необходими за работните процеси на симулация, което намалява ръчната работа.
Библиотеката SimReady Central обединява повече от 2000 готови за симулации (SimReady) OpenUSD актива в Hugging Face, предоставяйки на разработчиците безплатна, свободно достъпна отправна точка за среди за обучение на физически ИИ и цифрови двойници на фабрики за изкуствен интелект. Библиотеката включва разнообразни инфраструктурни и оборудващи активи — от роботизирани ръце и грайфери до складово оборудване, стелажи и инфраструктура за охлаждане. Разработчиците могат да проверят кои възможности поддържа всеки актив и след това да комбинират активи от различни доставчици в една сцена.
Производителите на оборудване (OEM) вече могат да подготвят и валидират активи спрямо изискванията на SimReady и да използват библиотеката SimReady Central, за да достигнат до разработчиците и да позволят на крайните си клиенти да тестват и симулират сценарии по-бързо, ускорявайки вземането на решения. Това позволява на индустриите да изграждат симулации около своите продукти, като същевременно управляват собствените си набори от данни в Hugging Face.
Ще разгледаме какво прави един актив SimReady и как OEM производителите допринасят към библиотеката SimReady Central, а след това ще покажем как разработчиците могат да използват тези активи, за да изградят сценарий за роботизирано вземане и поставяне и да сравнят конфигурации на фабрика за изкуствен интелект.
Какво прави един актив SimReady?
SimReady активите са OpenUSD активи, подготвени със свойствата, необходими за работните процеси на симулация. Подробен 3D модел, например CAD модел, е добра отправна точка. Симулацията изисква допълнителна информация за това как този обект трябва да бъде интерпретиран и използван.
При задача за манипулиране от робот това може да включва масата на обекта, геометрията на сблъсъците и свойствата на триене. При работни процеси за фабрики за изкуствен интелект това може да включва геометрията на оборудването и електрическите или термичните метаданни, необходими за приложението.
OpenUSD е отворена, разширяема рамка за описване и композиране на 3D сцени. Използването на тези сцени за обучение и оценяване на автономни машини също изисква информация за физическото поведение, сблъсъците и взаимодействията със сензорите.
SimReady Foundation предоставя спецификации, профили и инструменти за валидиране, които правят тези изисквания ясни. Профилът определя логическото групиране на функциите и възможностите, от които активът се нуждае за конкретен случай на употреба.
Фигура 1. SimReady Foundation определя изискванията за представяне на активите за конкретни случаи на употреба в симулации, докато библиотеките за разработчици помагат за подготовката и валидирането на OpenUSD активи спрямо тези изисквания.
В зависимост от актива и профила тези функции могат да включват:
| Структурни елементи на актива | Какво позволяват |
|---|---|
| Геометрия на сблъсъците и физически свойства | Симулация на контакти и физика в поддържана среда за изпълнение. |
| Структура и ограничения на ставите | Движение на шарнирни роботи и оборудване. |
| Семантични етикети | Идентифициране на обекти и анотирани синтетични данни. |
| Материали и атрибути на сензорите | Рендериране и поддръжка на сензорна симулация. |
За изискванията, свързани с всеки случай на употреба в симулация, вижте изискванията и профилите на SimReady Foundation. Разработчиците трябва да избират от SimReady Central активи, чиито профили съответстват на нуждите на работния им процес, и да ги композират в OpenUSD сцена.
Защо да публикувате OEM активи в SimReady Central?
OEM производителите могат да превърнат своите CAD модели на оборудване в SimReady активи за разработчици, които изграждат симулации около техните продукти. Библиотеката SimReady Central прави тези активи откриваеми в Hugging Face, помагайки на производителите да достигнат до екипи, създаващи роботизирани симулации и цифрови двойници на фабрики за изкуствен интелект.
За OEM производители на фабрики за изкуствен интелект като Vertiv библиотеката предоставя начин за разпространяване на активи като стелажи за складово оборудване, сървърни стелажи, охлаждащо оборудване и поддържаща инфраструктура за цифрови двойници на фабрики за изкуствен интелект. Разработчиците и агентите от ново поколение могат да включват тези активи в цифрови двойници на фабрики за изкуствен интелект, като използват повторно геометрията и свойствата, зададени от техните SimReady профили.
За OEM производители на роботика като Comau, FANUC, Franka Robotics, Robotiq, Standard Bots и Universal Robots библиотеката прави роботизираните ръце и грайферите откриваеми за екипи, изграждащи среди за обучение и оценяване. Разработчиците могат да комбинират тези активи с промишлено оборудване, за да създават складови и фабрични сценарии.
За доставчици на симулационни активи като Palatial библиотеката включва NVIDIA Robotics 1K Dataset, публикуван в сътрудничество с NVIDIA Robotics, наред със сложни шарнирни активи, генерирани от текст, изображения, сканирания, технически спецификации и CAD. Разработчиците могат да изграждат активи и сцени за обучение и оценяване на роботи.
За OEM производители като LG Electronics (LGE), които разработват роботи за дома наред с уредите, с които те работят, библиотеката предоставя начин за споделяне на активи като хладилници и съдомиялни машини. Разработчиците могат да използват активи, основани на опита на LGE както в областта на домакинските уреди, така и в роботиката, за да изграждат среди за симулация на дома за обучение и оценяване на роботи и генериране на синтетични данни.
За доставчици на CAD с помощ от ИИ като ForgeCAD библиотеката предоставя шарнирни роботизирани обекти с висококачествени текстури, които разработчиците могат да използват за изграждане на среди за обучение на роботизирано възприятие и манипулиране, както и за генериране на синтетични данни.
За да допринесат, OEM производителите могат да използват умението за подаване на SimReady Central, за да валидират активите спрямо съответните SimReady профили, да ги пакетират и да ги изпратят за включване в библиотеката.
Фигура 2. OEM производителите подготвят и валидират OpenUSD активи спрямо SimReady профили и след това изпращат актива към SimReady Central. Разработчиците и ИИ агентите откриват активи в библиотеката и ги използват за изграждане на среди за симулация.
Изграждайте среди за симулация със SimReady активи
SimReady Central предоставя на разработчиците в областта на роботиката и индустрията многократно използваема отправна точка за роботизирани работни клетки, индустриални среди и цифрови двойници на фабрики за изкуствен интелект. Разработчиците и ИИ агентите могат да намират в SimReady Central активи, които отговарят на профилите, изисквани от техните работни процеси, и да ги композират в OpenUSD среди.
Разработчиците могат да използват SimReady активи, за да запълват средите за обучение с обекти и препятствия, а след това да променят разположението им, за да оценяват поведението на роботите. Тези среди могат да поддържат проекти като Microduck — робот с отворен код от Hugging Face и Pollen Robotics.
Фигура 3. Наборите от данни за активи се свързват чрез SimReady Central в Hugging Face, използвайки услугата за търсене в USD за поддръжка на работни процеси в Isaac, търсене в библиотеката SimReady Central и работни процеси на ИИ агенти.
NVIDIA USD Search осигурява търсене на естествен език в библиотеката SimReady Central, като помага на разработчиците и ИИ агентите да намират активи в участващите набори от данни. Hugging Face също интегрира USD Search в търсенето на своята платформа с индексирани USD свойства и метаданни за симулации, помагайки на агентите да откриват SimReady активи, подходящи за задачите им по симулация на физически ИИ.
Авторизирането с помощта на ИИ добавя още един начин за работа с тези активи. Разработчиците могат да използват модели от ново поколение като GPT-6 Astra на OpenAI, комбинирани с инструменти за търсене на активи и авторизиране на сцени, за да изграждат среди чрез библиотеката SimReady Central. Като се имат предвид изискванията на задачата и пространствените ограничения, Astra може да помогне за намиране на подходящи активи, писане на код за сглобяване на сцена и създаване на варианти на сценария.
OEM производителите също могат да използват Astra, за да подпомогнат подготовката и усъвършенстването на OpenUSD активи спрямо изискванията на SimReady Foundation, преди да ги валидират и изпратят към библиотеката.
Изградете сценарий за роботизирано вземане и поставяне
Например разработчик, който изгражда сценарий за роботизирано вземане и поставяне, може да започне със следната подкана:
Използвайки SimReady активи от SimReady Central в Hugging Face, създай базов складов сценарий за вземане и поставяне в Isaac Sim, използвайки PhysX.
Използвай nvidia-simready-central.hf.space, за да намериш роботизирана ръка FANUC, съвместим грайфер Robotiq и подходящи складови активи. Генерирай Python кода за сглобяване на сцената и конфигуриране на задачата за вземане и поставяне. Рендерирай предварителен преглед във формат .mov, за да мога да прегледам резултатите.
Включи скриптовете, версиите на активите и версиите на средата за изпълнение, за да мога да възпроизведа сценария.
При този работен процес очакваме Astra да извърши следното:
- Да отправи заявка към SimReady Search API, за да намери подходящи активи, разпространявани в Hugging Face
- Да ги реферира/зареди като payload в OpenUSD сцена
- Да генерира Python код за сглобяване на работната клетка
- Да конфигурира задачата за вземане и поставяне
- Да рендерира предварителен преглед за преглед от потребителя
Фигура 4. Роботизирана работна клетка за вземане и поставяне, сглобена от SimReady активи, илюстрира как авторизирането на сцени с помощта на ИИ може да превърне изискванията на разработчика в сценарий за симулация, който да бъде прегледан и усъвършенстван в Isaac Sim.
Сравнете конфигурации на фабрика за изкуствен интелект
Същият подход може да подпомогне ISV (независим доставчик на софтуер), който изгражда цифров двойник на фабрика за изкуствен интелект. Задачата се измества от взаимодействията с роботи към разполагането на оборудване: подреждане на стелажи, охлаждащо оборудване и поддържаща инфраструктура в рамките на зададени пространствени ограничения.
Използвайки SimReady активи от SimReady Central в Hugging Face, създай две алтернативни конфигурации на фабрика за изкуствен интелект със стелажи и охлаждащо оборудване.
Използвай предоставените размери на оборудването и изискванията за свободно пространство в алеите. Провери за припокривания на оборудването и нарушения на изискванията за свободно пространство и докладвай всички проблеми.
Запази всяка конфигурация като OpenUSD сцена. Включи скриптовете за изграждане на сцените, версиите на активите и версиите на средата за изпълнение, за да мога да възпроизведа и сравня резултатите.
При този работен процес Astra ще сглоби избраните SimReady активи в две OpenUSD конфигурации, след което ще генерира скриптове за проверка на припокриванията на оборудването и свободното пространство в алеите спрямо предоставените изисквания. След това разработчиците могат да инспектират конфигурациите в приложението си за симулации, да сравнят разполагането на оборудването и маршрутите за достъп и да прегледат всички маркирани проблеми, преди да усъвършенстват предпочитаната конфигурация.
Фигура 5. Конфигурация на фабрика за изкуствен интелект, сглобена от SimReady активи, илюстрира как авторизирането на сцени с помощта на ИИ подпомага разполагането на оборудване, проверките на свободното пространство в алеите и усъвършенстването на конфигурацията в OpenUSD.
И в двата примера разработчиците могат да разширят средите си по няколко начина:
- Използвайте средата повторно: Съхранявайте промените по конфигурацията и задачите в отделни OpenUSD слоеве, така че едни и същи изходни активи да могат да поддържат множество експерименти.
- Варирайте сценариите: Въвеждайте допълнителни активи от библиотеката и променяйте разположението на обектите, конфигурациите на оборудването или заобикалящата инфраструктура, за да оценявате различни условия.
- Изграждайте специфични за приложението тестове: За роботика конфигурирайте задачи за обучение и оценяване в Isaac Lab. За фабрики за изкуствен интелект свържете сцената с данните за оборудването и инструментите за симулация, необходими за анализи като разпределение на електроенергията или ефективност на охлаждането.
- Пренасяйте валидираните конфигурации в експлоатация: За фабрики за изкуствен интелект свържете сцената с телеметрията на BMS и ИТ системите в реално време, за да поддържате цифровия двойник синхронизиран с обекта на фабриката.
Помогнете за оформянето на следващата вълна от активи
Пътната карта на SimReady Central включва повече OEM партньори и разрастваща се библиотека от активи, разширявайки оборудването и средите, които разработчиците могат да сглобяват от многократно използваемо съдържание.
Обратната връзка от общността ще помогне да се определи кои допълнения са най-важни. Кажете ни в коментарите от кои активи се нуждаете, кои среди за изпълнение използвате и къде срещате проблеми с интеграцията.
Изпращайте OEM активи за включване в SimReady Central, като използвате ръководството за изпращане на активи.
Приносът на OEM производителите може да разшири наличното съдържание, а примерите от разработчици могат да покажат как активите работят в различни приложения. Споделяйте в коментарите примери за това, което създавате, и отворете issue в SimReady Foundation за грешки или заявки за функции, свързани с изискванията на SimReady.
Започнете да създавате в Hugging Face 🤗
Изберете актив от библиотеката SimReady Central за следващата си роботизирана симулация или цифров двойник на фабрика за изкуствен интелект. Използвайте ресурсите по-долу, за да намирате активи, да изграждате сцена или да допринасяте с модели на оборудване.
Откривайте активи
- Намирайте активи за своята задача: Библиотеката SimReady Central в Hugging Face
- Търсете на естествен език: Опишете необходимите ви активи чрез крайната точка за търсене на SimReady Central, задвижвана от USD Search.
- Изградете собствен браузър за активи: Разгледайте уменията за индексиране към библиотека в GitHub хранилището на SimReady Central.
Изградете сцена
- Научете се да сглобявате OpenUSD сцени: Следвайте безплатния учебен курс по OpenUSD.
- Развийте уменията си в роботиката и цифровите двойници: Разгледайте безплатните курсове по физически ИИ.
- Изграждайте роботизирани симулации: Започнете с Isaac Sim и Isaac Lab.
- Изграждайте фабрики за изкуствен интелект: Започнете с работен процес за цифров двойник с помощ от агент.
Подгответе и допринасяйте със съдържание
- Започнете процеса на принос от страна на OEM: Следвайте ръководството за въвеждане и намерете отговори на често задавани въпроси в документацията на библиотеката SimReady Central.
- Изберете изискванията за своя актив: Прегледайте профилите в SimReady Foundation.
- Подгответе CAD модели за симулация: Използвайте уменията CAD-to-SimReady.
- Валидирайте, пакетирайте и изпратете активите си: Следвайте умението за подаване на SimReady Central.
Приятно създаване — нямаме търпение да видим какво ще създадете!
Общност
· Регистрирайте се или влезте, за да коментирате
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.