Qwen-Drive 1.0 объединяет восприятие, ответы о трафике и планирование
Исследовательское подразделение Alibaba представило Qwen-Drive 1.0 — модель искусственного интеллекта, которая в одной системе воспринимает дорожную обстановку, отвечает на вопросы о трафике и планирует маршрут автомобиля. Она создана на основе Qwen3.5-4B и дополнена модулями для построения трехмерной карты окружения и планирования ближайших действий. Общая языковая модель может использоваться и для управления автомобилем, и для взаимодействия с пассажирами.
Исследователи выяснили, что умение описывать изображения само по себе не дает модели надежного понимания трехмерного пространства. Обучение только новых модулей почти не повысило пространственную точность: потребовалось также обучать основную визуально-языковую модель на пространственных задачах. Для этого команда объединила 24 общедоступных набора данных о дорожных сценах, а затем добавила обучение планированию и обучение с подкреплением.
В симуляциях версия после обучения с подкреплением снизила долю съездов автомобиля с дороги с 24 до 12 процентов. При этом она действовала осторожнее и проезжала меньшее расстояние. Объяснения модели не всегда соответствовали ее действиям: например, она могла смешать удаленный красный сигнал светофора с ребенком, вышедшим на дорогу. На видеозаписях с автомобилей с другими конфигурациями камер качество также заметно снижалось. Модель бесплатно предоставляется исследователям через Hugging Face, ModelScope и GitHub.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.