ИИ Motional и MIT объясняет решения беспилотных автомобилей

Исследователи из Motional и MIT создали систему, позволяющую беспилотным автомобилям объяснять свои решения в режиме реального времени, решая проблему «чёрного ящика» в системах ИИ для автономных транспортных средств.

Работа, опубликованная в журнале Nature, выполнена командой Motional, в которую входит генеральный директор Лаура Мейджор, совместно с исследователями из Лаборатории компьютерных наук и искусственного интеллекта MIT. Предложенный ими метод, получивший название Concept-Wrapper Network, или CW-Net, предназначен для преобразования внутренних вычислений нейронной сети системы автономного вождения в понятия, которые человек действительно может прочитать.

Если современный беспилотный автомобиль резко затормозит на свободной дороге, где не видно очевидной опасности, ни водитель, ни пассажир не смогут понять почему. Современные системы автономного вождения всё чаще полагаются на нейронные сети, обученные на больших объёмах данных о вождении. Такие сети могут демонстрировать высокую эффективность, но не раскрывают ход своих рассуждений, поэтому инженеры и называют их «чёрными ящиками».

Преобразование логики нейронной сети в понятные человеку концепции

CW-Net преобразует внутреннюю логику системы автономного вождения в такие понятия, как «Приближение к остановившемуся автомобилю» или «Рядом велосипедист». По словам Motional, они могут отображаться на приборной панели, показывая, какие концепции влияют на решения автомобиля во время движения.

Система спроектирована таким образом, чтобы объяснения не создавались постфактум в качестве предположения о том, что могла делать сеть. Вместо этого финальная система принятия решений автомобиля действует непосредственно на основе этих понятных человеку концепций, поэтому торможение можно связать с конкретной концепцией, которая его вызвала. Motional называет такой подход причинно достоверным, отличая его от методов, которые генерируют объяснения на естественном языке: они могут выглядеть правдоподобно, но не обязательно быть точными.

Лаура Мейджор обосновывает необходимость такой интерпретируемости, противопоставляя её альтернативе — исключительно сквозному глубокому обучению для принятия решений при вождении.

«Общий подход, основанный только на сквозном обучении, может обеспечить действительно хорошее решение на уровне 80–90 процентов — возможно, даже 95 процентов, — но этого недостаточно, чтобы убрать водителя или завоевать доверие городов, сообществ и клиентов», — сказала она.

Тестирование объяснимого ИИ для беспилотных автомобилей в районе Лас-Вегаса

По данным Motional, исследования объяснимого ИИ в основном оставались ограниченными компьютерными симуляциями в лабораторных условиях. Вместо этого команда Motional и MIT внедрила CW-Net в автономный автомобиль, за рулём которого находился опытный оператор безопасности, и собрала данные на частном испытательном треке и на дорогах общего пользования в районе Лас-Вегаса.

Команда использовала более раннюю экспериментальную версию своей системы планирования на основе глубокого обучения, которая, как сообщалось, демонстрировала конкурентоспособные показатели, но имела заметные недостатки, выявить которые могла помочь CW-Net. Два инцидента во время испытаний показывают, что обнаружила система.

В одном случае автономный автомобиль неоднократно останавливался рядом с дорожным конусом, и оператор автомобиля предположил, что причиной такого поведения был сам конус. Исследователи убрали конус, но автомобиль всё равно остановился. Дисплей CW-Net показал настоящую причину: экспериментальная система планирования «галлюцинировала» находившийся впереди остановившийся автомобиль — закономерность, связанную с обучающими данными. Это объяснение позволило исследователям понять, предсказать и устранить проблему.

Второе испытание было связано с велосипедистом. Автономный автомобиль обнаружил велосипедиста и, как и ожидалось, остановился перед ним, однако CW-Net показала, что экспериментальная система планирования на самом деле не основывала своё решение на присутствии велосипедиста. После этого наблюдения водитель безопасности стал проявлять большую осторожность рядом с велосипедистами. Последующий анализ подтвердил, что такая осторожность была оправданной: в данном случае торможение автомобиля было вызвано резервной системой безопасности, а не экспериментальным планировщиком на основе глубокого обучения.

Производительность сохранилась несмотря на повышение объяснимости

Добавление уровней объяснимости в систему ИИ сопряжено с известными издержками в скорости и производительности, и Motional признаёт этот риск. Однако когда исследователи сравнили CW-Net с ведущими алгоритмами автономного вождения, разница в способности к вождению составила менее одного процента.

Инциденты в Лас-Вегасе показывают, почему этот компромисс важен не только с академической, но и с практической точки зрения. Водитель безопасности, который видит, что остановку вызвал «галлюцинируемый» автомобиль или что манёвр был выполнен резервной системой, а не основным планировщиком, может реагировать и составлять отчёты точнее, чем тот, кто судит только по поведению автомобиля.

Такая видимость напрямую влияет на то, насколько быстро инженерная команда может диагностировать систему и насколько уверенно оператор безопасности может отличить предусмотренное поведение от неисправности.

Motional связывает работу над CW-Net с более широким давлением, которое испытывают операторы автономных транспортных средств по мере выхода технологии на новые рынки и в новые юрисдикции. Регуляторы закономерно требуют большей прозрачности в отношении того, как системы ИИ принимают решения, и компания ожидает, что такие инструменты, как CW-Net, могут перейти из исследовательских проектов в категорию базовых требований.

Помимо пассажирских автомобилей, автономные дроны и даже роботизированная хирургия называются другими критически важными с точки зрения безопасности областями, где операторам и разработчикам понадобятся способы понимать возможности, ограничения и непредвиденное поведение системы.

Узнайте больше о физическом ИИ на мероприятии Physical AI Expo в Амстердаме, Лондоне и Северной Америке.

Читайте также: ИИ MIT прогнозирует экстремальную погоду без исторических данных

Хотите узнать больше об ИИ и больших данных от лидеров отрасли? Посетите AI & Big Data Expo, которая пройдёт в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими мероприятиями, включая Cyber Security & Cloud Expo. Нажмите здесь, чтобы узнать больше.

AI News работает при поддержке TechForge Media. Узнайте о других предстоящих мероприятиях и вебинарах в области корпоративных технологий здесь.