Халюцинация на AI едва не задейства военна операция на САЩ

Военни самолети вече бяха във въздуха тази пролет, когато американски служители направиха тревожно откритие: разузнавателната информация, на която се основаваше въоръжена операция срещу китайски кораб, е била халюцинирана от чатбот с изкуствен интелект. Операцията беше прекратена в последния момент, като на косъм беше избегнат потенциален конфликт с Китай, съобщи CNN в петък.

Случаят подчертава нарастващото безпокойство сред военни служители и външни експерти: тъй като лицата, вземащи решения, все повече разчитат на изкуствен интелект, грешките, които тези системи допускат, могат да се придвижат нагоре по командната верига, преди някой да ги постави под въпрос.

Разузнавателният доклад, който е бил разпространен по време на войната с Иран, посочвал, че корабът превозва компоненти за програма за ядрени оръжия.

Фалшивата разузнавателна информация е възникнала при анализатор от Командването за специални операции, който е използвал чатбот с изкуствен интелект, за да синтезира данни от открити източници с класифицирана радиоелектронна разузнавателна информация. Чатботът е идентифицирал погрешно товарния манифест на кораба. След това анализаторът е използвал инструмента за втори път, за да форматира погрешните констатации в обобщение с официален вид, което е било разпространено по командните канали.

Случаят на косъм идва в момент, когато американската армия бърза да интегрира изкуствения интелект, за да ускори вземането на решения и да запази преднината си пред Китай. Пентагонът определи изкуствения интелект като осигуряващ значително предимство при ускоряването на веригата за поразяване, така че командирите да могат да реагират навреме. Но същата скорост, която прави изкуствения интелект привлекателен, може също да позволи на халюцинациите да се разпространяват при недостатъчен човешки надзор.

„Важно е военнослужещите да разбират присъщата на големите езикови модели несигурност“, заяви Джейк Стеклър, научен изследовател в GovAI и ветеран от американската армия, в писмен отговор до TechCrunch. „Но това е особено важно при всякакви решения, които могат да доведат до употреба на сила, като например прицелване, разузнавателен анализ или оперативно планиране. Тези решения имат последици за живота и смъртта.“ 

Въпреки това Стеклър заявява, че инцидентът трябва да послужи като призив за добавяне на повече защити към изкуствения интелект, а не като причина да се избягва. „Тези инструменти могат да бъдат полезни в правилния контекст и при наличието на подходящи защити“, каза той. „Но поставянето на скоростта на внедряване над всичко останало вероятно ще доведе до инциденти, които само ще накарат военнослужещите да загубят доверие в тези системи, което в крайна сметка само ще забави внедряването им.“