NVIDIA выпустила четыре открытые модели Cosmos 3 для симуляции

NVIDIA добавила в семейство мировых моделей Cosmos 3 четыре чекпойнта с открытыми весами для интерактивного моделирования окружающего мира. Cosmos3-Nano-Transfer-Auto генерирует синхронизированные данные для сценариев вождения с использованием до 11 камер и совместно создает RGB- и LiDAR-данные. Cosmos3-Nano-Sim-Auto формирует последовательные фрагменты видео с камер и LiDAR на основе команд управления автомобилем, поддерживая потоковую генерацию и длительные интерактивные запуски.

Две другие модели предназначены для робототехники и работы с симуляторами. Cosmos3-Nano-Sim-Transfer преобразует управляющие параметры симулятора и текстовый запрос в сгенерированные RGB-наблюдения. Cosmos3-Nano-Sim-Bimanual прогнозирует последующее видео по действиям робота или камеры и поддерживает интерактивную симуляцию манипуляций двумя руками для платформ YAM и AgiBot.

Все четыре чекпойнта являются дообученными версиями Cosmos 3 Nano и содержат 16B обучаемых параметров. Они выпущены по лицензии OpenMDW1.1, допускающей коммерческое и некоммерческое использование на ее условиях. NVIDIA описывает модели как основу для адаптации к новым сенсорным системам, средам вождения и роботам, однако отмечает необходимость дальнейшей проверки их ограничений и пригодности для обучения и оценки политик.