Исследователи подключили GPT-6 Astra напрямую к роботу и позволили ему навести порядок в незнакомой кухне

Исследователи из Стэнфордского университета и Калифорнийского технологического института создали HomeBody, систему, которая позволяет роботу Unitree G1 автономно перемещаться по незнакомой кухне, наводить порядок и доставать предметы из ящиков. Это очередной тест, показывающий, что GPT-6 Astra хорошо работает с роботами.

HomeBody отказывается от типичного слоя управления, обученного специально для этой задачи, между языковой моделью и роботом. Вместо этого сменная модель «зрение — язык» (VLM), в данном случае GPT Astra, напрямую обращается к расширяемой библиотеке навыков для захвата предметов, навигации или открытия ящиков. Сначала робот исследует помещение, создаёт цифрового двойника в Isaac Sim от Nvidia и записывает объекты и их местоположение в пространственную память. Благодаря этому он может находить предметы даже после того, как они исчезают из поля его зрения. Для таких задач, как «убрать на кухне», языковая модель планирует каждый шаг и самостоятельно исправляет ошибки.

К ограничениям относятся задержка Astra, перегрев сервоприводов пальцев и высокие вычислительные затраты. Код опубликован на GitHub. Более ранние тесты показали значительно улучшенное пространственное мышление Astra, тогда как другое исследование выявило проблемы с безопасностью, когда Astra управляет роботом. OpenAI уже объявила о планах вернуться к робототехнике, в том числе для личного использования.

Новости ИИ без шумихи — отобрано людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный ежегодный отчёт «AI Radar» о передовых технологиях, полный доступ к архиву и доступ к разделу комментариев.