Халюцинация на ИИ за китайски ядрени компоненти едва не доведе до американска военна атака

САЩ на косъм са избегнали да се качат на китайски кораб въз основа на „напълно фалшив“ разузнавателен доклад на САЩ, създаден с помощта на инструменти с изкуствен интелект, според репортаж на CNN.

Тази погрешна разузнавателна информация, изпратена от анализатор от Командването за специални операции на САЩ, предполагала, че китайският кораб превозва компоненти за програма за ядрени оръжия през Близкия изток, според „четири източника, запознати със случая“, цитирани от CNN. Американската армия се подготвяла да прихване кораба и да се качи на борда му с въздушна подкрепа, преди служители да установят, че чатбот, използван при съставянето на доклада, „неточно е идентифицирал материала, който корабът превозвал“.

Един източник казал пред CNN, че фиаското с изкуствения интелект „почти е започнало война“.

Какво е най-лошото, което може да се случи?

В репортажа на CNN се казва, че въпросният анализатор е използвал чатбот, за да анализира разузнавателни доклади относно товарния манифест на китайския кораб, което довело до почти катастрофалния резултат. Според CNN чатботът „обединил разузнавателна информация от отворени източници със секретна сигнална разузнавателна информация, съхранявана от правителството“, а тази информация била оформена в разузнавателен доклад, който почти задействал катастрофална поредица от събития.

Този едва избегнат инцидент е един от най-силните и значими примери за това как халюцинациите на изкуствен интелект могат да подкопаят надеждността на професионален доклад. Откакто „халюцинация“ стана дума на годината на Cambridge Dictionary за 2023 г., станахме свидетели на видни примери за автори на нехудожествена литература, журналисти, академични изследователи, съдии, лекари, полицейски управления, корпоративни колцентрове и други, подведени от инструменти с изкуствен интелект, които просто измислят нещо, когато данните, с които са обучени, не предоставят достатъчно контекст. И въпреки някои очарователни опити за подканващи инструкции „не халюцинирай“, някои изследователи предполагат, че може да е невъзможно напълно да се предотврати халюцинирането от страна на големите езикови модели.

Човек би се надявал, че американската армия би била наясно с подобни проблеми, когато разчита на изкуствен интелект за анализ на разузнавателни доклади. Но през януари Министерството на отбраната въведе „стратегия за ускоряване на развитието на изкуствения интелект“, която имаше за цел да „направи всички подходящи данни достъпни в рамките на федеративни ИТ системи за използване от изкуствения интелект, включително мисионни системи във всеки вид въоръжени сили и компонент“.