Галлюцинация ИИ о китайских ядерных компонентах едва не привела к военной атаке США

США едва не задержали китайское судно на основании «полностью ложного» отчёта американской разведки, подготовленного с помощью инструментов ИИ, сообщает CNN.

Эта ошибочная разведывательная информация, представленная аналитиком Командования специальных операций США, указывала на то, что китайское судно перевозило компоненты ядерной оружейной программы через Ближний Восток, согласно данным CNN, полученным от «четырёх источников, знакомых с этим эпизодом». Военные США готовились перехватить судно и высадиться на его борт при поддержке авиации, прежде чем выяснилось, что использованный для подготовки отчёта чат-бот «неверно определил материал, перевозившийся на судне».

Один из источников сообщил CNN, что этот провал с ИИ «едва не спровоцировал войну».

Что может пойти не так?

Согласно отчёту CNN, упомянутый аналитик использовал чат-бота для анализа разведывательных отчётов о грузовом манифесте китайского судна, что привело к почти катастрофическому результату. По данным CNN, этот чат-бот «объединил разведывательные сведения из открытых источников с секретными данными радиоэлектронной разведки, хранившимися в государственных системах», после чего эта информация была оформлена в разведывательный отчёт, который едва не запустил разрушительную цепь событий.

Этот случай стал одним из наиболее ярких и серьёзных примеров того, как галлюцинации ИИ подрывают надёжность профессионального отчёта. С тех пор как «галлюцинация» стала словом года по версии Кембриджского словаря в 2023 году, мы видели немало известных примеров того, как авторы документальной литературы, журналисты, учёные, судьи, врачи, полицейские управления, корпоративные колл-центры и многие другие попадались на уловки инструментов ИИ, которые просто выдумывают что-то, когда в их обучающих данных недостаточно контекста. И несмотря на некоторые мило выглядящие попытки использовать запросы «не галлюцинируй», некоторые исследователи полагают, что полностью предотвратить галлюцинации больших языковых моделей может быть невозможно.

Остаётся надеяться, что американские военные знают об этих проблемах, когда используют ИИ для анализа разведывательных отчётов. Однако в январе Министерство обороны запустило «стратегию ускоренного внедрения ИИ», которая предусматривала «предоставление всех необходимых данных для использования ИИ в объединённых ИТ-системах, включая системы выполнения задач всех видов вооружённых сил и подразделений».