Представляем SimReady Central: открытую библиотеку готовых к симуляции 3D-ресурсов для робототехники и фабрик искусственного интеллекта
Создание робототехнических симуляций и высокоточных цифровых двойников ИИ-фабрик требует большего, чем просто 3D-модели. Разработчикам часто необходимо добавлять такие свойства, как геометрия столкновений, масса и трение. Объекты SimReady — это 3D-модели, заранее снабжённые свойствами, необходимыми для рабочих процессов симуляции, что сокращает объём ручной работы.
Библиотека SimReady Central объединяет на Hugging Face более 2 000 готовых к симуляции (SimReady) объектов OpenUSD, предоставляя разработчикам бесплатную отправную точку без ограничений доступа для создания сред обучения физического ИИ и цифровых двойников ИИ-фабрик. Библиотека включает различные объекты инфраструктуры и оборудования — от роботизированных манипуляторов и захватов до складского оборудования, стоек и систем охлаждения. Разработчики могут проверить, какие возможности поддерживает каждый объект, а затем объединить объекты от разных поставщиков в одной сцене.
Производители оборудования (OEM) теперь могут подготавливать объекты и проверять их соответствие требованиям SimReady, а затем использовать библиотеку SimReady Central для привлечения разработчиков и предоставления конечным клиентам возможности быстрее тестировать и моделировать сценарии, ускоряя принятие решений. Это позволяет отраслям создавать симуляции на основе собственной продукции, управляя при этом собственными наборами данных на Hugging Face.
Мы расскажем, что делает объект SimReady и как OEM-производители вносят вклад в библиотеку SimReady Central, а затем покажем, как разработчики могут использовать эти объекты для создания сценария роботизированного захвата и перемещения и сравнения планировок ИИ-фабрик.
Что делает объект SimReady?
Объекты SimReady — это объекты OpenUSD, подготовленные с использованием свойств, необходимых для рабочих процессов симуляции. Подробная 3D-модель, например CAD-модель, является полезной отправной точкой. Однако для симуляции требуется дополнительная информация о том, как этот объект следует интерпретировать и использовать.
Для задачи манипуляции роботом это могут быть масса объекта, геометрия столкновений и свойства трения. Для рабочих процессов ИИ-фабрик это могут быть геометрия оборудования и электрические или тепловые метаданные, необходимые приложению.
OpenUSD — это открытая расширяемая платформа для описания и композиции 3D-сцен. Для использования таких сцен при обучении и оценке автономных машин также требуется информация о физическом поведении, столкновениях и взаимодействии с датчиками.
SimReady Foundation предоставляет спецификации, профили и инструменты валидации, делающие эти требования явными. Профиль определяет логическую группировку функций и возможностей, необходимых объекту для конкретного варианта использования.
Рисунок 1. SimReady Foundation определяет требования к представлению объектов для конкретных сценариев симуляции, а библиотеки разработчиков помогают подготавливать и проверять объекты OpenUSD на соответствие этим требованиям.
В зависимости от объекта и профиля эти функции могут включать:
| Структурные элементы объекта | Что это обеспечивает |
|---|---|
| Геометрия столкновений и физические свойства | Моделирование контактов и физики в поддерживаемой среде выполнения. |
| Структура сочленений и ограничения | Движение шарнирных роботов и оборудования. |
| Семантические метки | Идентификация объектов и аннотированные синтетические данные. |
| Материалы и атрибуты датчиков | Рендеринг и поддержка симуляции датчиков. |
Требования для каждого сценария симуляции см. в разделе требований и профилей SimReady Foundation. Разработчикам следует выбирать в SimReady Central объекты с профилями, соответствующими потребностям их рабочих процессов, и объединять их в сцену OpenUSD.
Зачем публиковать объекты OEM в SimReady Central?
OEM-производители могут преобразовать свои CAD-модели оборудования в объекты SimReady для разработчиков, создающих симуляции на основе их продукции. Библиотека SimReady Central делает эти объекты доступными для поиска на Hugging Face, помогая производителям находить команды, создающие робототехнические симуляции и цифровых двойников ИИ-фабрик.
Для OEM-производителей ИИ-фабрик, таких как Vertiv, библиотека предоставляет возможность распространять такие объекты, как складское оборудование, серверные стойки, системы охлаждения и вспомогательную инфраструктуру для цифровых двойников ИИ-фабрик. Разработчики и передовые агенты могут добавлять эти объекты в цифровые двойники ИИ-фабрик, повторно используя геометрию и свойства, заданные их профилями SimReady.
Для OEM-производителей робототехники, таких как Comau, FANUC, Franka Robotics, Robotiq, Standard Bots и Universal Robots, библиотека делает роботизированные манипуляторы и захваты доступными для поиска командами, создающими среды обучения и оценки. Разработчики могут объединять эти объекты с промышленным оборудованием для создания сценариев складов и фабрик.
Для поставщиков объектов для симуляции, таких как Palatial, библиотека содержит набор данных NVIDIA Robotics 1K, выпущенный в сотрудничестве с NVIDIA Robotics, а также сложные сочленённые объекты, созданные на основе текста, изображений, сканирований, технических паспортов и CAD. Разработчики могут создавать объекты и сцены для обучения и оценки роботов.
Для OEM-производителей, таких как LG Electronics (LGE), которые разрабатывают роботов для дома и бытовую технику, с которой они работают, библиотека предоставляет возможность делиться такими объектами, как холодильники и посудомоечные машины. Разработчики могут использовать объекты, созданные с учётом опыта LGE в области бытовой техники и робототехники, для построения домашних сред симуляции обучения, оценки роботов и генерации синтетических данных.
Для поставщиков CAD с поддержкой ИИ, таких как ForgeCAD, библиотека предоставляет сочленённые робототехнические объекты с текстурами высокого качества, которые разработчики могут использовать для создания сред обучения восприятию и манипуляциям роботов, а также генерации синтетических данных.
Для участия OEM-производители могут использовать навык отправки объектов в SimReady Central, чтобы проверить объекты на соответствие необходимым профилям SimReady, упаковать их и отправить для включения в библиотеку.
Рисунок 2. OEM-производители подготавливают и проверяют объекты OpenUSD на соответствие профилям SimReady, а затем отправляют их в SimReady Central. Разработчики и ИИ-агенты находят объекты в библиотеке и используют их для создания сред симуляции.
Создавайте среды симуляции с помощью объектов SimReady
SimReady Central предоставляет разработчикам в области робототехники и промышленности готовую основу для роботизированных рабочих ячеек, промышленных сред и цифровых двойников ИИ-фабрик. Разработчики и ИИ-агенты могут находить в SimReady Central объекты, соответствующие профилям, необходимым для их рабочих процессов, и объединять их в среды OpenUSD.
Разработчики могут использовать объекты SimReady для наполнения сред обучения объектами и препятствиями, а затем изменять их размещение для оценки поведения роботов. Такие среды могут поддерживать проекты вроде Microduck — робота с открытым исходным кодом от Hugging Face и Pollen Robotics.
Рисунок 3. Наборы данных объектов соединяются через SimReady Central на Hugging Face, используя сервис поиска USD для поддержки рабочих процессов Isaac, поиска в библиотеке SimReady Central и рабочих процессов ИИ-агентов.
NVIDIA USD Search обеспечивает поиск на естественном языке в библиотеке SimReady Central, помогая разработчикам и ИИ-агентам находить объекты во всех участвующих наборах данных. Hugging Face также интегрировала USD Search в поиск своей платформы с индексированными свойствами USD и метаданными симуляции, помогая агентам находить объекты SimReady, подходящие для задач симуляции физического ИИ.
Создание с поддержкой ИИ даёт ещё один способ работать с этими объектами. Разработчики могут использовать передовые модели, такие как GPT-6 Astra от OpenAI, в сочетании с поиском объектов и инструментами создания сцен для построения сред с помощью библиотеки SimReady Central. Получив требования к задаче и пространственные ограничения, Astra может помочь найти подходящие объекты, написать код для сборки сцены и создать варианты сценария.
OEM-производители также могут использовать Astra для подготовки и доработки объектов OpenUSD в соответствии с требованиями SimReady Foundation перед их проверкой и отправкой в библиотеку.
Создание сценария роботизированного захвата и перемещения
Например, разработчик, создающий сценарий роботизированного захвата и перемещения, может начать со следующего запроса:
Используя объекты SimReady из SimReady Central на Hugging Face, создайте базовый сценарий захвата и перемещения на складе в Isaac Sim с использованием PhysX.
Используйте nvidia-simready-central.hf.space, чтобы найти роботизированный манипулятор FANUC, совместимый захват Robotiq и подходящие складские объекты. Сгенерируйте код Python для сборки сцены и настройки задачи захвата и перемещения. Отрендерите предварительный просмотр в формате .mov, чтобы я мог проверить результаты.
Включите скрипты, версии объектов и версии среды выполнения, чтобы я мог воспроизвести сценарий.
В этом рабочем процессе мы ожидаем от Astra следующих действий:
- Отправить запрос к API SimReady Search для поиска релевантных объектов, распространяемых на Hugging Face
- Добавить их в сцену OpenUSD как Reference/Payload
- Сгенерировать код Python для сборки рабочей ячейки
- Настроить задачу захвата и перемещения
- Отрендерить предварительный просмотр для проверки пользователем
Рисунок 4. Роботизированная рабочая ячейка, собранная из объектов SimReady, показывает, как создание сцен с поддержкой ИИ может преобразовать требования разработчика в сценарий симуляции для проверки и доработки в Isaac Sim.
Сравнение планировок ИИ-фабрик
Тот же подход может поддержать независимого поставщика программного обеспечения (ISV), создающего цифрового двойника ИИ-фабрики. Задача смещается от взаимодействия роботов к размещению оборудования: необходимо расположить стойки, системы охлаждения и вспомогательную инфраструктуру в рамках заданных пространственных ограничений.
Используя объекты SimReady из SimReady Central на Hugging Face, создайте два альтернативных варианта планировки ИИ-фабрики со стойками и системами охлаждения.
Используйте предоставленные размеры оборудования и требования к свободному пространству в проходах. Проверьте наличие пересечений оборудования и нарушений требований к свободному пространству и сообщите обо всех проблемах.
Сохраните каждую планировку как сцену OpenUSD. Включите скрипты построения сцены, версии объектов и версии среды выполнения, чтобы я мог воспроизвести и сравнить результаты.
В этом рабочем процессе Astra соберёт выбранные объекты SimReady в две планировки OpenUSD, а затем сгенерирует скрипты для проверки пересечений оборудования и свободного пространства в проходах на соответствие предоставленным требованиям. После этого разработчики смогут проверить планировки в своём приложении для симуляции, сравнить размещение оборудования и пути доступа, а также изучить выявленные проблемы перед доработкой предпочтительной конфигурации.
Рисунок 5. Планировка ИИ-фабрики, собранная из объектов SimReady, демонстрирует, как создание сцен с поддержкой ИИ помогает размещать оборудование, проверять свободное пространство в проходах и дорабатывать планировку в OpenUSD.
В обоих примерах разработчики могут расширять свои среды несколькими способами:
- Повторно использовать среду: хранить изменения планировки и задачи в отдельных слоях OpenUSD, чтобы одни и те же исходные объекты могли поддерживать несколько экспериментов.
- Изменять сценарии: добавлять объекты из библиотеки и менять размещение объектов, конфигурации оборудования или окружающую инфраструктуру для оценки различных условий.
- Создавать тесты для конкретных приложений: для робототехники настраивать задачи обучения и оценки в Isaac Lab. Для ИИ-фабрик подключать сцену к данным об оборудовании и инструментам симуляции, необходимым для анализа, например, распределения электропитания или эффективности охлаждения.
- Переносить проверенные планировки в эксплуатацию: для ИИ-фабрик подключать сцену к телеметрии BMS и ИТ-систем в реальном времени, чтобы поддерживать синхронизацию цифрового двойника с объектом ИИ-фабрики.
Помогите сформировать следующую волну объектов
Дорожная карта SimReady Central включает новых OEM-партнёров и растущую библиотеку объектов, расширяя набор оборудования и сред, которые разработчики могут собирать из повторно используемого содержимого.
Отзывы сообщества помогут определить наиболее важные дополнения. Расскажите в комментариях, какие объекты вам нужны, какие среды выполнения вы используете и где сталкиваетесь с пробелами в интеграции.
Отправляйте объекты OEM для включения в SimReady Central с помощью руководства по отправке объектов.
Вклад OEM-производителей может расширить доступное содержимое, а примеры разработчиков — показать, как объекты работают в разных приложениях. Делитесь в комментариях примерами созданных решений и создавайте issue в SimReady Foundation для сообщений об ошибках или запросов функций, связанных с требованиями SimReady.
Начните создавать на Hugging Face 🤗
Выберите объект из библиотеки SimReady Central для следующей робототехнической симуляции или цифрового двойника ИИ-фабрики. Используйте приведённые ниже ресурсы, чтобы найти объекты, создать сцену или внести модели оборудования.
Поиск объектов
- Найдите объекты для своей задачи: библиотека SimReady Central на Hugging Face
- Ищите на естественном языке: опишите необходимые объекты через конечную точку поиска SimReady Central, работающую на основе USD Search.
- Создайте собственный браузер объектов: изучите навыки индексирования и работы с библиотекой в репозитории SimReady Central на GitHub.
Создание сцены
- Научитесь собирать сцены OpenUSD: пройдите бесплатный курс по OpenUSD.
- Развивайте навыки в робототехнике и цифровых двойниках: изучите бесплатные курсы по физическому ИИ.
- Создавайте робототехнические симуляции: начните с Isaac Sim и Isaac Lab.
- Создавайте ИИ-фабрики: начните с рабочего процесса цифрового двойника с поддержкой агента.
Подготовка и добавление содержимого
- Начните процесс участия OEM: ознакомьтесь с руководством по подключению и найдите ответы на часто задаваемые вопросы в документации библиотеки SimReady Central.
- Выберите требования для своего объекта: изучите профили в SimReady Foundation.
- Подготовьте CAD-модели к симуляции: используйте навыки CAD-to-SimReady.
- Проверьте, упакуйте и отправьте свои объекты: следуйте навыку отправки объектов в SimReady Central.
Желаем успехов в создании — нам не терпится увидеть, что вы создадите!
Сообщество
· Зарегистрируйтесь или войдите, чтобы оставить комментарий
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.