Motional и AI на MIT обясняват решенията на самоуправляващите се автомобили

Motional и изследователи от MIT създадоха система, която позволява на автономните автомобили да обясняват решенията си в реално време, справяйки се с проблема „черна кутия“ в изкуствения интелект за автономни превозни средства.

Работата, публикувана в Nature, е дело на екип от Motional, в който участва главният изпълнителен директор Лора Мейджър, съвместно с изследователи от Лабораторията по компютърни науки и изкуствен интелект на MIT. Предложеният от тях метод, наречен Concept-Wrapper Network или CW-Net, има за цел да преведе вътрешните изчисления на невронната мрежа на автономна система в понятия, които човек може да разбере.

Ако съвременен автономен автомобил спре рязко на чист път без видима опасност, нито шофьорът, нито пътникът имат начин да разберат защо. Съвременните автономни системи все повече разчитат на невронни мрежи, обучени с големи обеми данни от шофиране. Тези мрежи могат да се представят добре, но не разкриват логиката зад решенията си, поради което инженерите ги описват като „черни кутии“.

Превръщане на логиката на невронните мрежи в разбираеми понятия

CW-Net работи, като преобразува вътрешната логика на автономната система в понятия като „Приближаване към спрял автомобил“ или „В близост до велосипедист“. Според Motional те могат да се показват на табло, което в реално време представя кои понятия влияят върху решенията на автомобила.

Системата е проектирана така, че обясненията да не се генерират постфактум като предположение какво може да е правила мрежата. Вместо това крайната система за вземане на решения на автомобила предприема действия въз основа директно на тези разбираеми за хората понятия, така че спирането може да бъде проследено до конкретното понятие, което го е предизвикало. Motional описва това като причинно достоверно, като го разграничава от подходите, които генерират обяснения на естествен език и могат да звучат правдоподобно, без непременно да са точни.

Лора Мейджър представя аргументите в полза на подобна интерпретируемост, противопоставяйки я на алтернативата да се разчита изцяло на дълбоко обучение от край до край за вземането на решения при шофиране.

„Общият подход, основан единствено на обучение от край до край, може да достигне наистина добро решение на ниво 80–90 процента – може би дори 95 процента – но това не е достатъчно, за да се премахне необходимостта от шофьор или да се спечели доверието на градовете, общностите и клиентите“, каза тя.

Тестване на обясним изкуствен интелект за автономни автомобили около Лас Вегас

Според Motional изследванията в областта на обяснимия изкуствен интелект до голяма степен са останали ограничени до компютърни симулации в лабораторни условия. Вместо това екипът на Motional и MIT внедри CW-Net в автономен автомобил с опитен оператор по безопасността на шофьорското място, като събра данни на частна тестова писта и по обществени пътища около Лас Вегас.

Екипът използва по-ранна експериментална версия на своята система за планиране, базирана на дълбоко обучение, описана като показваща конкурентни резултати, но и съществени недостатъци, които CW-Net би могъл да разкрие. Два инцидента от тестовете илюстрират какво е установила системата.

При единия автономният автомобил многократно спирал близо до конус за движение, а операторът на автомобила предположил, че именно конусът предизвиква поведението. Изследователите премахнали конуса, но автомобилът спрял отново. Дисплеят на CW-Net показал истинската причина: експерименталната система за планиране си представяла спрял автомобил отпред – модел, проследен до данните, използвани за обучението ѝ. Това обяснение позволило на изследователите да разберат, предвидят и отстранят проблема.

Вторият тест включвал велосипедист. Автономният автомобил го открил и спрял, както се очаквало, но CW-Net разкрил, че експерименталната система за планиране всъщност не е основала решението си на присъствието на велосипедиста. След като забелязал това, операторът по безопасността започнал да проявява по-голяма предпазливост около велосипедисти. Последващият анализ потвърдил, че тази предпазливост е била оправдана, тъй като в този случай спирането на автомобила е било предизвикано от резервна система за безопасност, а не от експерименталния планировчик, базиран на дълбоко обучение.

Производителността се запазва въпреки обяснимостта

Добавянето на слоеве за обяснимост към система с изкуствен интелект води до известна загуба на скорост и производителност, а Motional признава този риск. Когато обаче изследователите сравнили CW-Net с водещи алгоритми за автономно шофиране, разликата в способността за управление била под един процент.

Инцидентите в Лас Вегас показват защо този компромис има оперативно, а не само академично значение. Операторът по безопасността, който може да види, че спирането е предизвикано от въображаем автомобил или че за маневрата отговаря резервна система, а не основният планировчик, може да реагира и докладва по-точно от човек, който разполага единствено с информация за поведението.

Тази видимост пряко влияе върху това колко бързо инженерният екип може да диагностицира дадена система и с каква увереност операторът по безопасността може да разграничи планирано поведение от повреда.

Motional свързва работата по CW-Net с по-широкия натиск върху операторите на автономни превозни средства, тъй като технологията навлиза на нови пазари и в нови юрисдикции. Регулаторите естествено настояват за по-голяма прозрачност относно начина, по който системите с изкуствен интелект достигат до решенията си, а компанията очаква инструменти като CW-Net да преминат от изследователски проекти към базово изискване.

Освен при пътническите превозни средства, автономните дронове и дори роботизираната хирургия са посочени като други критични за безопасността области, в които операторите и разработчиците ще се нуждаят от начини да разбират възможностите, ограниченията и неочакваното поведение на системата.

Научете повече за физическия изкуствен интелект по време на Physical AI Expo , което се провежда в Амстердам, Лондон и Северна Америка.

Вижте също: Изкуственият интелект на MIT прогнозира екстремно време без исторически данни

Искате ли да научите повече за изкуствения интелект и големите данни от лидери в индустрията? Разгледайте AI & Big Data Expo, което се провежда в Амстердам, Калифорния и Лондон. Цялостното събитие е част от TechEx и се провежда едновременно с други водещи технологични събития, включително Cyber Security & Cloud Expo. Кликнете тук за повече информация.

AI News се поддържа от TechForge Media. Разгледайте други предстоящи събития и уебинари за корпоративни технологии тук.