ToyBlocks создает контролируемую среду для обучения роботов

Ai2 представила ToyBlocks — открытую симуляционную среду для изучения обучения роботов в ограниченном и воспроизводимом мире. В ней роботизированная рука взаимодействует с блоками на столе. На гранях блоков размещены изображения и буквы, поэтому система может решать задачи поиска, сортировки и компоновки, в том числе сначала переворачивать блок, чтобы увидеть скрытую сторону.

ToyBlocks автоматически создает короткие навыки и демонстрации заданий с помощью обучения с подкреплением, планирования движений и планировщика задач и движений. Сотни планов можно одновременно запускать на одном GPU со скоростью до 24 раз выше реального времени. Состав обучающих данных можно менять, выделяя отдельные навыки или восполняя пробелы. Оценка учитывает не только успешность, но и скорость выполнения, силы воздействия на объекты и прогресс задания.

Среда предназначена для исследования обобщения, многошагового планирования и переноса навыков на физических роботов. В первых тестах несколько vision-language-action моделей плохо переносили знания на новые положения в рабочей зоне, конфигурации блоков и последовательности действий, несмотря на масштабное предварительное обучение. В иерархической схеме Molmo 2 выбирает навык, а ManiFlow управляет движениями руки.