Изследователи свързаха GPT-6 Astra директно към робот и го оставиха да подреди непозната кухня

Изследователи от Станфорд и Калтех са създали HomeBody, система, която позволява на робот Unitree G1 автономно да се придвижва в непозната кухня, да подрежда и да взема предмети от чекмеджета. Това е поредният тест, показващ, че GPT-6 Astra работи добре с роботи.

HomeBody премахва типичния слой за управление, обучен между езиковия модел и робота. Вместо това сменяем визуално-езиков модел (VLM), в случая GPT Astra, директно извиква разширяема библиотека от умения за хващане, навигация или отваряне на чекмеджета. Роботът първо изследва помещението, създава негов дигитален близнак в Isaac Sim на Nvidia и записва предметите и местоположенията им в пространствена памет. Това му позволява да намира предмети дори след като те излязат от полезрението му. При задачи като „подреди кухнята“ езиковият модел планира всяка стъпка и сам коригира грешките.

Сред ограниченията са забавянето на Astra, прегряването на сервомоторите на пръстите и високите изчислителни разходи. Кодът е в GitHub. По-ранни бенчмаркове показаха, че Astra има значително подобрено пространствено мислене, докато друг изтъкна проблеми с безопасността, когато Astra управлява робот. OpenAI вече обяви планове да се върне в роботиката, включително за лична употреба.

AI новини без сензации – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за AI, достъп до нашия ексклузивен шест пъти годишно доклад за новостите „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.