Галюцинація ШІ ледь не спровокувала військову операцію США

Військові літаки вже перебували в повітрі цієї весни, коли американські посадовці зробили тривожне відкриття: розвіддані, на основі яких проводилася збройна операція проти китайського судна, були вигадані чат-ботом зі штучним інтелектом. Операцію скасували в останню мить, ледь уникнувши потенційного конфлікту з Китаєм, повідомив CNN у п’ятницю.

Цей випадок підкреслює зростаюче занепокоєння серед військових посадовців і незалежних експертів: що більше особи, які ухвалюють рішення, покладаються на ШІ, то далі вгору командною вертикаллю можуть поширюватися помилки, яких припускаються ці системи, перш ніж їх поставлять під сумнів.

У розвідувальному звіті, який поширювали під час війни з Іраном, ішлося, що судно перевозило компоненти для програми створення ядерної зброї.

Недостовірні розвіддані з’явилися внаслідок запиту аналітика Командування сил спеціальних операцій, який попросив чат-бота зі ШІ синтезувати дані з відкритих джерел із розвідданими, отриманими завдяки засобам радіоелектронної розвідки. Чат-бот неправильно визначив вантаж, зазначений у судновому маніфесті. Потім аналітик удруге використав цей інструмент, щоб оформити помилкові висновки у вигляді резюме, що мало вигляд офіційного документа, і його поширили каналами командування.

Цей небезпечний інцидент стався в момент, коли американські військові поспішають інтегрувати ШІ, щоб пришвидшити ухвалення рішень і зберегти перевагу над Китаєм. У Пентагоні заявляли, що ШІ дає значну перевагу, пришвидшуючи цикл ураження цілей, щоб командири могли вчасно реагувати. Однак та сама швидкість, яка робить ШІ привабливим, може також сприяти поширенню галюцинацій за недостатнього людського нагляду.

«Військовослужбовцям важливо розуміти невизначеність, притаманну великим мовним моделям», — написав у відповіді TechCrunch Джейк Стеклер, науковий співробітник GovAI і колишній офіцер армії США. «Але це особливо важливо для будь-яких рішень, які можуть призвести до застосування сили, зокрема для визначення цілей, аналізу розвідданих або оперативного планування. Від цих рішень залежать життя і смерть людей».

Водночас Стеклер вважає, що цей інцидент має стати закликом до посилення заходів безпеки під час використання ШІ, а не причиною відмовлятися від нього. «Ці інструменти можуть бути корисними у відповідних контекстах і за наявності належних запобіжників, — сказав він. — Але якщо поставити швидкість впровадження вище за все інше, це, ймовірно, призведе до інцидентів, через які військовослужбовці лише втратять довіру до цих систем, а це зрештою тільки сповільнить їхнє впровадження».