Представляємо SimReady Central: відкриту бібліотеку готових до симуляції 3D-ресурсів для робототехніки та фабрик штучного інтелекту
Створення робототехнічних симуляцій і цифрових двійників фабрик ШІ з високою точністю потребує більшого, ніж просто 3D-моделі. Розробникам часто потрібно додавати такі властивості, як геометрія зіткнень, маса та тертя. Ресурси SimReady — це 3D-моделі, підготовлені з властивостями, необхідними для робочих процесів симуляції, що зменшує обсяг ручної роботи.
Бібліотека SimReady Central об’єднує понад 2000 готових до симуляції (SimReady) ресурсів OpenUSD на Hugging Face, надаючи розробникам безкоштовну відправну точку без обмежень доступу для середовищ навчання фізичного ШІ та цифрових двійників фабрик ШІ. Бібліотека містить різноманітні ресурси інфраструктури й обладнання — від роботизованих маніпуляторів і захватів до складського обладнання, стелажів та інфраструктури охолодження. Розробники можуть перевірити, які можливості підтримує кожен ресурс, а потім об’єднати ресурси від різних постачальників у сцену.
Виробники обладнання (OEM) тепер можуть готувати й перевіряти ресурси на відповідність вимогам SimReady, а також використовувати бібліотеку SimReady Central, щоб охопити розробників і дозволити кінцевим клієнтам швидше тестувати та симулювати сценарії й прискорювати ухвалення рішень. Це дає змогу галузям створювати симуляції навколо своїх продуктів, керуючи власними наборами даних на Hugging Face.
Ми розглянемо, що робить ресурс SimReady і як OEM-виробники долучаються до бібліотеки SimReady Central, а потім покажемо, як розробники можуть використовувати ці ресурси для створення сценарію роботизованого захоплення та переміщення і порівняння конфігурацій фабрики ШІ.
Що робить ресурс SimReady?
Ресурси SimReady — це ресурси OpenUSD, підготовлені з властивостями, необхідними для робочих процесів симуляції. Детальна 3D-модель, наприклад CAD-модель, є корисною відправною точкою. Для симуляції потрібна додаткова інформація про те, як слід інтерпретувати й використовувати цей об’єкт.
Для завдання роботизованого маніпулювання це може включати масу об’єкта, геометрію зіткнень і властивості тертя. Для робочих процесів фабрик ШІ це можуть бути геометрія обладнання та електричні або теплові метадані, необхідні застосунку.
OpenUSD — це відкритий розширюваний фреймворк для опису та компонування 3D-сцен. Для використання цих сцен у навчанні й оцінюванні автономних машин також потрібна інформація про фізичну поведінку, зіткнення та взаємодію із сенсорами.
SimReady Foundation надає специфікації, профілі та інструменти перевірки, які чітко визначають ці вимоги. Профіль визначає логічне групування функцій і можливостей, необхідних ресурсу для конкретного випадку використання.
Рисунок 1. SimReady Foundation визначає вимоги до представлення ресурсів для конкретних випадків використання симуляції, тоді як бібліотеки розробників допомагають готувати й перевіряти ресурси OpenUSD на відповідність цим вимогам.
Залежно від ресурсу та профілю, ці функції можуть включати:
| Структурні елементи ресурсу | Що це забезпечує |
|---|---|
| Геометрія зіткнень і фізичні властивості | Симуляцію контактів і фізики в підтримуваному середовищі виконання. |
| Структура суглобів та обмеження | Рух шарнірних роботів і обладнання. |
| Семантичні мітки | Ідентифікацію об’єктів і анотовані синтетичні дані. |
| Матеріали й атрибути сенсорів | Рендеринг і підтримку симуляції сенсорів. |
Вимоги, пов’язані з кожним випадком використання симуляції, наведено в вимогах і профілях SimReady Foundation. Розробникам слід обирати в SimReady Central ресурси, профілі яких відповідають потребам їхнього робочого процесу, і компонувати їх у сцену OpenUSD.
Навіщо публікувати ресурси OEM у SimReady Central?
OEM-виробники можуть перетворювати CAD-моделі свого обладнання на ресурси SimReady для розробників, які створюють симуляції навколо їхніх продуктів. Бібліотека SimReady Central робить ці ресурси доступними для пошуку на Hugging Face, допомагаючи виробникам охоплювати команди, що створюють робототехнічні симуляції та цифрових двійників фабрик ШІ.
Для виробників обладнання для фабрик ШІ, таких як Vertiv, бібліотека надає можливість поширювати такі ресурси, як складське обладнання, стелажі для серверів, охолоджувальне обладнання та допоміжна інфраструктура для цифрових двійників фабрик ШІ. Розробники й передові агенти можуть інтегрувати ці ресурси в цифрових двійників фабрик ШІ, повторно використовуючи геометрію та властивості, визначені їхніми профілями SimReady.
Для виробників робототехніки, таких як Comau, FANUC, Franka Robotics, Robotiq, Standard Bots і Universal Robots, бібліотека робить роботизовані маніпулятори та захвати доступними для пошуку командами, які створюють середовища навчання й оцінювання. Розробники можуть поєднувати ці ресурси з промисловим обладнанням для створення складських і фабричних сценаріїв.
Для постачальників ресурсів симуляції, таких як Palatial, бібліотека містить набір даних NVIDIA Robotics 1K, випущений у співпраці з NVIDIA Robotics, а також складні шарнірні ресурси, створені з тексту, зображень, сканів, технічних описів і CAD-моделей. Розробники можуть створювати ресурси та сцени для навчання й оцінювання роботів.
Для OEM-виробників, таких як LG Electronics (LGE), які розробляють роботів для дому разом із приладами, з якими вони працюють, бібліотека надає можливість поширювати такі ресурси, як холодильники та посудомийні машини. Розробники можуть використовувати ресурси, створені з урахуванням досвіду LGE у сфері побутової техніки та робототехніки, для побудови середовищ симуляції домашнього простору для навчання й оцінювання роботів та генерації синтетичних даних.
Для постачальників CAD із підтримкою ШІ, таких як ForgeCAD, бібліотека робить доступними шарнірні робототехнічні об’єкти з високоякісними текстурами, які розробники можуть використовувати для створення середовищ навчання сприйняттю й маніпулюванню роботів, а також генерації синтетичних даних.
Для участі OEM-виробники можуть скористатися навичкою подання ресурсів SimReady Central, щоб перевірити ресурси на відповідність релевантним профілям SimReady, упакувати їх і подати для включення до бібліотеки.
Рисунок 2. OEM-виробники готують і перевіряють ресурси OpenUSD на відповідність профілям SimReady, а потім подають ресурс до SimReady Central. Розробники та агенти ШІ знаходять ресурси в бібліотеці й використовують їх для створення середовищ симуляції.
Створюйте середовища симуляції з ресурсами SimReady
SimReady Central надає розробникам робототехнічних і промислових систем повторно використовувану відправну точку для робочих зон роботів, промислових середовищ і цифрових двійників фабрик ШІ. Розробники та агенти ШІ можуть знаходити в SimReady Central ресурси, що відповідають профілям, необхідним для їхніх робочих процесів, і компонувати їх у середовища OpenUSD.
Розробники можуть використовувати ресурси SimReady для наповнення середовищ навчання об’єктами й перешкодами, а потім змінювати їхнє розташування для оцінювання поведінки роботів. Ці середовища можуть підтримувати такі проєкти, як Microduck — робот із відкритим кодом від Hugging Face і Pollen Robotics.
Рисунок 3. Набори даних ресурсів з’єднуються через SimReady Central на Hugging Face, використовуючи службу пошуку USD для підтримки робочих процесів Isaac, пошуку в бібліотеці SimReady Central і робочих процесів агентів ШІ.
NVIDIA USD Search забезпечує пошук природною мовою в бібліотеці SimReady Central, допомагаючи розробникам і агентам ШІ знаходити ресурси в наборах даних учасників. Hugging Face також інтегрувала USD Search у пошук своєї платформи з індексованими властивостями USD і метаданими симуляції, допомагаючи агентам знаходити ресурси SimReady, придатні для їхніх завдань симуляції фізичного ШІ.
Створення за допомогою ШІ додає ще один спосіб роботи з цими ресурсами. Розробники можуть використовувати передові моделі, як-от GPT-6 Astra від OpenAI, у поєднанні з пошуком ресурсів та інструментами створення сцен для побудови середовищ із використанням бібліотеки SimReady Central. Отримавши вимоги до завдання та просторові обмеження, Astra може допомогти знайти відповідні ресурси, написати код для складання сцени та створити варіанти сценарію.
OEM-виробники також можуть використовувати Astra для підготовки й удосконалення ресурсів OpenUSD відповідно до вимог SimReady Foundation, перш ніж перевіряти їх і подавати до бібліотеки.
Створіть сценарій роботизованого захоплення та переміщення
Наприклад, розробник, який створює сценарій роботизованого захоплення та переміщення, може почати з такого запиту:
Використовуючи ресурси SimReady з SimReady Central на Hugging Face, створіть базовий складський сценарій захоплення та переміщення в Isaac Sim із використанням PhysX.
Використайте nvidia-simready-central.hf.space, щоб знайти роботизований маніпулятор FANUC, сумісний захват Robotiq і відповідні складські ресурси. Згенеруйте код Python для складання сцени та налаштування завдання захоплення й переміщення. Відрендерте попередній перегляд у форматі .mov, щоб я міг переглянути результати.
Додайте скрипти, версії ресурсів і версії середовища виконання, щоб я міг відтворити сценарій.
У цьому робочому процесі ми очікуємо, що Astra виконає такі дії:
- Надішле запит до SimReady Search API, щоб знайти релевантні ресурси, поширені на Hugging Face
- Додасть їх як Reference/Payload до сцени OpenUSD
- Згенерує код Python для складання робочої зони
- Налаштує завдання захоплення та переміщення
- Відрендерить попередній перегляд для перевірки користувачем
Рисунок 4. Робоча зона для роботизованого захоплення та переміщення, складена з ресурсів SimReady, демонструє, як створення сцен за допомогою ШІ може перетворити вимоги розробника на сценарій симуляції для перевірки й доопрацювання в Isaac Sim.
Порівнюйте конфігурації фабрик ШІ
Такий самий підхід може підтримати незалежного постачальника програмного забезпечення (ISV), який створює цифрового двійника фабрики ШІ. Завдання зміщується від взаємодії з роботами до розміщення обладнання: розташування стелажів, охолоджувального обладнання та допоміжної інфраструктури з дотриманням визначених просторових обмежень.
Використовуючи ресурси SimReady з SimReady Central на Hugging Face, створіть два альтернативні компонування фабрики ШІ зі стелажами та охолоджувальним обладнанням.
Використайте надані розміри обладнання та вимоги до ширини проходів. Перевірте наявність перетинів обладнання та порушень вимог до вільного простору й повідомте про всі проблеми.
Збережіть кожне компонування як сцену OpenUSD. Додайте скрипти створення сцени, версії ресурсів і версії середовища виконання, щоб я міг відтворити та порівняти результати.
У цьому робочому процесі Astra складе вибрані ресурси SimReady у два компонування OpenUSD, а потім згенерує скрипти для перевірки перетинів обладнання та вільного простору в проходах відповідно до наданих вимог. Після цього розробники зможуть перевірити компонування у своєму застосунку для симуляції, порівняти розміщення обладнання та шляхи доступу, а також переглянути всі виявлені проблеми, перш ніж удосконалити бажану конфігурацію.
Рисунок 5. Компонування фабрики ШІ, складене з ресурсів SimReady, демонструє, як створення сцен за допомогою ШІ підтримує розміщення обладнання, перевірку вільного простору в проходах і вдосконалення компонування в OpenUSD.
В обох прикладах розробники можуть розширити свої середовища кількома способами:
- Повторно використовуйте середовище: Зберігайте зміни компонування та завдання в окремих шарах OpenUSD, щоб ті самі вихідні ресурси могли підтримувати кілька експериментів.
- Змінюйте сценарії: Додавайте додаткові ресурси з бібліотеки та змінюйте розташування об’єктів, конфігурації обладнання або навколишню інфраструктуру для оцінювання різних умов.
- Створюйте тести для конкретних застосунків: Для робототехніки налаштовуйте завдання навчання й оцінювання в Isaac Lab. Для фабрик ШІ підключайте сцену до даних обладнання та інструментів симуляції, необхідних для аналізу, наприклад розподілу потужності або ефективності охолодження.
- Переносьте перевірені компонування в експлуатацію: Для фабрик ШІ підключайте сцену до актуальної телеметрії BMS та IT, щоб підтримувати синхронізацію цифрового двійника з об’єктом фабрики ШІ.
Допоможіть сформувати наступну хвилю ресурсів
Дорожня карта SimReady Central передбачає залучення нових OEM-партнерів і розширення бібліотеки ресурсів, збільшуючи кількість обладнання та середовищ, які розробники можуть компонувати з повторно використовуваного контенту.
Відгуки спільноти допоможуть визначити, які доповнення є найважливішими. Розкажіть у коментарях, які ресурси вам потрібні, які середовища виконання ви використовуєте та де стикаєтеся з проблемами інтеграції.
Надсилайте ресурси OEM для включення до SimReady Central, використовуючи посібник із подання ресурсів.
Внесок OEM може розширити доступний контент, а приклади від розробників можуть показати, як ресурси працюють у різних застосунках. Діліться в коментарях прикладами того, що ви створюєте, і відкривайте issue у SimReady Foundation щодо помилок або запитів на додавання функцій до вимог SimReady.
Почніть створювати на Hugging Face 🤗
Виберіть ресурс із бібліотеки SimReady Central для наступної робототехнічної симуляції або цифрового двійника фабрики ШІ. Скористайтеся наведеними нижче ресурсами, щоб знаходити ресурси, створювати сцену або додавати моделі обладнання.
Знаходьте ресурси
- Знайдіть ресурси для свого завдання: бібліотека SimReady Central на Hugging Face
- Шукайте природною мовою: Опишіть потрібні ресурси через кінцеву точку пошуку SimReady Central, що працює на базі USD Search.
- Створіть власний браузер ресурсів: Ознайомтеся з навичками індексації та бібліотеки в репозиторії SimReady Central на GitHub.
Створіть сцену
- Навчіться компонувати сцени OpenUSD: Пройдіть безкоштовний навчальний курс OpenUSD.
- Розвивайте навички робототехніки й цифрових двійників: Ознайомтеся з безкоштовними курсами з фізичного ШІ.
- Створюйте робототехнічні симуляції: Почніть з Isaac Sim та Isaac Lab.
- Створюйте фабрики ШІ: Почніть із робочого процесу цифрового двійника за допомогою агента.
Готуйте контент і долучайтеся
- Розпочніть процес участі OEM: Ознайомтеся з посібником для нових учасників і знайдіть відповіді на поширені запитання в документації бібліотеки SimReady Central.
- Виберіть вимоги для свого ресурсу: Перегляньте профілі в SimReady Foundation.
- Підготуйте CAD-моделі до симуляції: Використовуйте навички CAD-to-SimReady.
- Перевірте, упакуйте й подайте свої ресурси: Скористайтеся навичкою подання ресурсів SimReady Central.
Бажаємо успіхів у створенні — не можемо дочекатися, щоб побачити, що ви створите!
Спільнота
· Зареєструйтеся або увійдіть, щоб залишити коментар
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.