Галлюцинация ИИ едва не спровоцировала военную операцию США

Военные самолёты уже находились в воздухе этой весной, когда американские чиновники сделали тревожное открытие: разведданные, на основе которых проводилась вооружённая операция против китайского судна, были выдуманы чат-ботом с искусственным интеллектом. Операцию отменили в последний момент, едва избежав потенциального конфликта с Китаем, сообщил CNN в пятницу.

Этот эпизод подчёркивает растущую обеспокоенность среди военных чиновников и внешних экспертов: по мере того как лица, принимающие решения, всё больше полагаются на ИИ, ошибки, которые допускают эти системы, могут пройти по цепочке командования, прежде чем их поставят под сомнение.

В разведывательном отчёте, который распространялся во время войны с Ираном, говорилось, что судно перевозило компоненты для программы создания ядерного оружия.

Ложные разведданные исходили от аналитика Командования специальных операций, который запросил у чат-бота с ИИ обобщить данные из открытых источников вместе с засекреченными разведданными, полученными с помощью средств радиоэлектронной разведки. Чат-бот неверно определил грузовую декларацию судна. Затем аналитик использовал инструмент во второй раз, чтобы оформить ошибочные выводы в виде официально выглядящего резюме, которое распространили по командным каналам.

Этот инцидент произошёл в то время, когда вооружённые силы США стремительно интегрируют ИИ, чтобы ускорить принятие решений и сохранить преимущество над Китаем. В Пентагоне заявляют, что ИИ даёт значительное преимущество, ускоряя цепочку поражения целей, благодаря чему командиры могут своевременно реагировать. Однако та же скорость, которая делает ИИ привлекательным, может позволить галлюцинациям распространяться при недостаточном контроле со стороны человека.

«Военнослужащим важно понимать неопределённость, присущую большим языковым моделям», — написал в ответе TechCrunch Джейк Стеклер, научный сотрудник GovAI и ветеран армии США. «Но особенно важно учитывать это при принятии любых решений, которые могут привести к применению силы, — например, при выборе целей, анализе разведданных или оперативном планировании. Эти решения могут иметь последствия для жизни и смерти». 

Тем не менее Стеклер считает, что этот инцидент должен послужить призывом к усилению мер защиты при использовании ИИ, а не причиной отказываться от него. «При правильном применении и наличии надлежащих мер безопасности эти инструменты могут быть полезны», — сказал он. «Однако приоритет скорости внедрения над всем остальным, вероятно, приведёт к инцидентам, из-за которых военнослужащие лишь утратят доверие к этим системам, а это в конечном итоге только замедлит их внедрение».