GPT-6 Astra керувала роботом під час прибирання незнайомої кухні
Дослідники зі Stanford і Caltech створили HomeBody — систему, яка дає змогу гуманоїдному роботу Unitree G1 автономно працювати в незнайомій кухні. Робот прибирає приміщення та дістає предмети з шухляд, використовуючи GPT-6 Astra як візуально-мовну модель.
HomeBody прибирає типовий окремо навчений рівень керування між мовною моделлю та роботом. Натомість модель безпосередньо звертається до розширюваної бібліотеки навичок, зокрема для захоплення предметів, навігації й відкривання шухляд. Спочатку робот обстежує приміщення, створює його цифрового двійника в Nvidia's Isaac Sim і заносить предмети та їхні місця до просторової пам’яті. Це дає змогу знаходити об’єкти після того, як вони зникають із поля зору.
Для команди на кшталт «прибрати кухню» модель планує послідовність дій і виправляє її, коли виникають помилки. Серед обмежень дослідники назвали затримки Astra, перегрів сервоприводів пальців і високі потреби в обчисленнях. Код HomeBody опубліковано на GitHub. Попередні оцінювання засвідчили покращення просторового міркування Astra, тоді як інше дослідження виявило проблеми безпеки під час керування роботом.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.