ШІ Motional і MIT пояснює рішення безпілотних автомобілів

Дослідники з Motional і MIT створили систему, яка дає змогу безпілотним автомобілям пояснювати свої рішення в реальному часі, розв’язуючи проблему «чорної скриньки» у штучному інтелекті автономних транспортних засобів.

Робота, опублікована в Nature, виконана командою Motional, до складу якої входить генеральна директорка Лора Мейджор, спільно з дослідниками Лабораторії комп’ютерних наук і штучного інтелекту MIT. Запропонований ними метод під назвою Concept-Wrapper Network або CW-Net покликаний перетворити внутрішні обчислення нейронної мережі системи безпілотного керування на поняття, які людина може прочитати.

Якщо сучасний безпілотний автомобіль різко гальмує на чистій дорозі, де не видно жодної очевидної перешкоди, ні водій, ні пасажир не мають змоги дізнатися чому. Сучасні системи безпілотного керування дедалі частіше покладаються на нейронні мережі, навчені на великих обсягах даних про водіння. Такі мережі можуть демонструвати високу ефективність, але не розкривають логіку своїх міркувань, через що інженери називають їх «чорними скриньками».

Переклад логіки нейронної мережі на зрозумілі людині поняття

CW-Net перетворює внутрішню логіку системи безпілотного керування на такі поняття, як «Наближення до зупиненого автомобіля» або «Поруч велосипедист». За даними Motional, вони можуть відображатися на панелі приладів, показуючи, які поняття впливають на рішення автомобіля під час руху.

Система розроблена так, щоб пояснення не створювалися постфактум як припущення щодо того, що могла робити мережа. Натомість кінцева система ухвалення рішень автомобіля діє безпосередньо на основі цих зрозумілих людині понять, тож подію гальмування можна пов’язати з конкретним поняттям, яке її спричинило. Motional описує це як причинно достовірний підхід, відмежовуючи його від методів, що генерують пояснення природною мовою: вони можуть звучати правдоподібно, але не обов’язково бути точними.

Лора Мейджор обґрунтовує необхідність такої інтерпретованості, протиставляючи її альтернативі — виключному покладанню на наскрізне глибоке навчання для ухвалення рішень під час руху.

«Загальний підхід, що ґрунтується лише на наскрізному навчанню, може забезпечити справді хороший результат на рівні 80–90 відсотків — можливо, навіть 95 відсотків, — але цього недостатньо, щоб усунути водія або здобути довіру міст, громад і клієнтів», — сказала вона.

Тестування зрозумілого ШІ для безпілотних автомобілів поблизу Лас-Вегаса

За даними Motional, дослідження зрозумілого ШІ здебільшого обмежувалися комп’ютерними симуляціями в лабораторних умовах. Натомість команда Motional і MIT встановила CW-Net на автономному автомобілі, за кермом якого перебував досвідчений оператор безпеки, і збирала дані на приватному випробувальному треку та на дорогах загального користування поблизу Лас-Вегаса.

Команда використала попередню експериментальну версію своєї системи планування на основі глибокого навчання, яка, за описом, демонструвала конкурентоспроможні результати, але мала помітні недоліки, які CW-Net могла виявити. Два інциденти під час тестування ілюструють, що саме вдалося зафіксувати системі.

В одному випадку автономний автомобіль неодноразово зупинявся біля дорожнього конуса, і оператор автомобіля припустив, що причиною такої поведінки був сам конус. Дослідники прибрали конус, але автомобіль усе одно зупинився. Дисплей CW-Net показав справжню причину: експериментальна система планування «галюцинувала» зупинений автомобіль попереду — закономірність, що походила з її навчальних даних. Це пояснення дало дослідникам змогу зрозуміти, спрогнозувати та усунути проблему.

Другий тест стосувався велосипедиста. Автономний автомобіль виявив велосипедиста й очікувано зупинився, але CW-Net показала, що експериментальна система планування насправді не ґрунтувала своє рішення на присутності велосипедиста. Після цього оператор безпеки почав обережніше поводитися поруч із велосипедистами. Подальший аналіз підтвердив, що така обережність була виправданою, оскільки в цьому випадку гальмування автомобіля спричинила резервна система безпеки, а не експериментальний планувальник на основі глибокого навчання.

Показники ефективності залишилися стабільними попри додавання пояснюваності

Додавання рівнів пояснюваності до системи ШІ має відому ціну у швидкості та продуктивності, і Motional визнає цей ризик. Однак, коли дослідники порівняли CW-Net із провідними алгоритмами автономного водіння, різниця в здатності керувати автомобілем становила менш як один відсоток.

Інциденти в Лас-Вегасі показують, чому цей компроміс важливий не лише з академічного, а й з практичного погляду. Оператор безпеки, який бачить, що зупинку спричинив автомобіль, якого система помилково «побачила», або що маневр виконала резервна система, а не основний планувальник, може точніше відреагувати та повідомити про подію, ніж оператор, який орієнтується лише на поведінку автомобіля.

Така прозорість безпосередньо впливає на те, наскільки швидко інженерна команда може діагностувати систему і наскільки впевнено оператор безпеки може відрізнити заплановану поведінку від несправності.

Motional пов’язує роботу над CW-Net із ширшим тиском на операторів автономних транспортних засобів у міру виходу технології на нові ринки та в нові юрисдикції. Регулятори закономірно вимагають більшої прозорості щодо того, як системи ШІ ухвалюють рішення, і компанія очікує, що такі інструменти, як CW-Net, можуть перейти від дослідницьких проєктів до базової вимоги.

Окрім пасажирських автомобілів, автономні дрони й навіть роботизована хірургія називаються іншими критично важливими з погляду безпеки сферами, де операторам і розробникам знадобляться способи розуміти можливості, обмеження та несподівану поведінку систем.

Дізнайтеся більше про фізичний ШІ під час заходу Physical AI Expo , який відбудеться в Амстердамі, Лондоні та Північній Америці.

Читайте також: ШІ MIT прогнозує екстремальні погодні явища без історичних даних

Хочете дізнатися більше про ШІ та великі дані від лідерів галузі? Відвідайте AI & Big Data Expo, що відбудеться в Амстердамі, Каліфорнії та Лондоні. Цей масштабний захід є частиною TechEx і проходитиме одночасно з іншими провідними технологічними заходами, зокрема Cyber Security & Cloud Expo. Натисніть тут, щоб дізнатися більше.

AI News працює за підтримки TechForge Media. Ознайомтеся з іншими майбутніми заходами та вебінарами у сфері корпоративних технологій тут.