Дослідники підключили GPT-6 Astra безпосередньо до робота й дозволили йому прибрати на незнайомій кухні

Дослідники зі Стенфордського університету та Каліфорнійського технологічного інституту створили HomeBody, систему, яка дає змогу роботу Unitree G1 автономно пересуватися незнайомою кухнею, наводити лад і діставати предмети з шухляд. Це ще один тест, що демонструє: GPT-6 Astra добре працює з роботами.

HomeBody прибирає типовий навчений рівень керування між мовною моделлю та роботом. Натомість змінна мультимодальна модель (VLM), у цьому випадку GPT Astra, безпосередньо звертається до розширюваної бібліотеки навичок для захоплення предметів, навігації чи відкривання шухляд. Спочатку робот досліджує приміщення, створює його цифрового двійника в Isaac Sim від Nvidia та записує об’єкти й місця їхнього розташування у просторову пам’ять. Це дає йому змогу знаходити предмети навіть після того, як вони зникають із його поля зору. Для завдань на кшталт «прибрати на кухні» мовна модель планує кожен крок і самостійно виправляє помилки.

Серед обмежень — затримка Astra, перегрів сервоприводів пальців і високі обчислювальні витрати. Код доступний на GitHub. Попередні тести продемонстрували значно покращене просторове міркування Astra, тоді як інше дослідження виявило проблеми з безпекою, коли Astra керує роботом. OpenAI вже оголосила про плани повернутися до робототехніки, зокрема для особистого використання.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, ексклюзивний передовий звіт «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.