Sakhanda Wire
NVDA $152.08 -2.60% MSFT $505.84 -2.35% GOOGL $279.73 -1.41% META $618.09 -1.33% AMZN $256.12 -0.63%
← К новостям

GPT-6 Astra управляла роботом при уборке незнакомой кухни

Исследователи из Stanford и Caltech создали HomeBody — систему, позволяющую гуманоидному роботу Unitree G1 самостоятельно действовать в незнакомой кухне. Робот убирает помещение и достаёт предметы из ящиков, используя GPT-6 Astra в качестве зрительно-языковой модели.

HomeBody не применяет обычный отдельно обученный слой управления между языковой моделью и роботом. Вместо этого модель напрямую обращается к расширяемой библиотеке навыков, среди которых захват объектов, навигация и открывание ящиков. Сначала робот исследует помещение, создаёт его цифровой двойник в Nvidia's Isaac Sim и сохраняет сведения о предметах и их расположении в пространственной памяти. Благодаря этому он может найти объект, даже если тот покинул поле зрения.

Получив задание убрать кухню, модель определяет порядок действий и исправляет план при возникновении ошибок. Исследователи отмечают ограничения системы: Astra отвечает с задержкой, сервоприводы пальцев могут перегреваться, а для работы требуются значительные вычислительные ресурсы. Код HomeBody доступен на GitHub. Предыдущие тесты показали улучшение пространственного рассуждения Astra, однако другое исследование выявило проблемы безопасности при управлении роботом.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости