Галюцинація ШІ про китайські ядерні компоненти ледь не призвела до військової атаки США

США ледь не здійснили абордаж китайського судна на підставі «цілком неправдивого» звіту американської розвідки, створеного за допомогою інструментів ШІ, згідно зі звітом CNN.

Ця помилкова розвідувальна інформація, подана аналітиком Командування сил спеціальних операцій США, припускала, що китайське судно перевозило компоненти ядерної програми через Близький Схід, повідомляє CNN із посиланням на «чотири джерела, обізнані з цією ситуацією». Американські військові готувалися перехопити судно та висадитися на його борт за підтримки авіації, перш ніж посадовці виявили, що чатбот, використаний для підготовки звіту, «неточно визначив матеріал, який перевозило судно».

Одне з джерел повідомило CNN, що це фіаско, спричинене ШІ, «ледь не розпочало війну».

Що найгірше може статися?

У звіті CNN зазначається, що відповідний аналітик використав чатбот для аналізу розвідувальних звітів щодо вантажного маніфесту китайського судна, що призвело до ледь не катастрофічного результату. За даними CNN, цей чатбот «об’єднав розвіддані з відкритих джерел із таємною радіоелектронною розвідкою, що зберігалася в урядових системах», а цю інформацію було оформлено у розвідувальний звіт, який ледь не запустив катастрофічний ланцюг подій.

Цей випадок є одним із найяскравіших і найнебезпечніших прикладів того, як галюцинації ШІ підривають надійність професійного звіту. Відтоді як «галюцинація» стала словом року за версією Кембриджського словника у 2023 році, ми бачили відомі приклади того, як автори нехудожньої літератури, журналісти, академічні дослідники, судді, лікарі, поліцейські управління, корпоративні колцентри та інші ставали жертвами інструментів ШІ, які просто вигадують щось, коли їхні навчальні дані не містять достатнього контексту. І попри деякі чарівні спроби створити запити «не галюцинуй», деякі дослідники припускають, що повністю запобігти галюцинаціям великих мовних моделей може бути неможливо.

Можна було б сподіватися, що американські військові усвідомлюють такі проблеми, покладаючись на ШІ для аналізу розвідувальних звітів. Однак у січні Міністерство оборони запровадило «стратегію прискорення розвитку ШІ», яка мала на меті «зробити всі відповідні дані доступними в об’єднаних ІТ-системах для використання ШІ, зокрема в системах забезпечення завдань усіх видів і компонентів».