Runway открыла робототехническую модель Praxis-1
Runway выпустила Praxis-1 — модель для управления роботами с открытыми весами и исходным кодом по лицензии Apache 2.0, разрешающей коммерческое использование. Система получает изображения с камеры, текстовые инструкции и данные о положении робота, затем прогнозирует изменения в окружающей обстановке и рассчитывает соответствующие движения. По мере поступления новых кадров управление корректируется.
В основе Praxis-1 лежит видеомодель, обученная понимать движение и взаимодействие объектов. Runway дополнительно обучила ее на видео действий человека и данных от роботов, назвав результат World Action Model. Standard Bots, Noble Machines и Ultra проверяли модель на гуманоидном роботе, промышленной роботизированной руке и складском роботе с двумя руками.
В симуляционном тесте Nvidia RoboLab-120 Praxis-1 получила результат 46,2%, опередив FLUX 3 Action с 42,9% в категории World Action Model. Все испытания проводила Runway, поэтому результаты пока не подтверждены независимо. Для новых робототехнических систем модели требуется дополнительное обучение. По данным Runway, она иногда путает похожие объекты и испытывает трудности с расплывчатыми инструкциями. Praxis-1 также пока не умеет надежно планировать сложные последовательности самостоятельно: отдельные действия нужно задавать явно. Стандартная версия требует GPU с 80 ГБ памяти, а сжатая, по оценке, должна работать на RTX 5090 с 32 ГБ VRAM.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.