Модель ШІ Anthropic надіслала поліції Філадельфії неправдиве повідомлення про вбивство

Модель ШІ Anthropic надіслала поліції Філадельфії неправдиву інформацію про нерозкритне вбивство.

Як повідомляється, 18 липня ШІ надіслала цю неправдиву інформацію на гарячу лінію для повідомлень Поліцейського управління Філадельфії (PPD), однак Anthropic виявила таку поведінку лише 28 вересня. Поліція не побачила повідомлення, оскільки його було позначено як спам.

У середу Anthropic повідомила PPD про інцидент, а наступного дня зустрілася з представниками управління.

«Компанія має посилити свої запобіжні механізми, щоб подібні інциденти не впливали на міські системи без відома міста. Двомісячна затримка у виявленні інциденту та повідомленні про нього міській владі є неприйнятною», — заявили в PPD у коментарі для 6abc.

Anthropic не одразу відповіла на запит про коментар, але PPD надало детальнішу інформацію про інцидент в електронному пресрелізі, яким поділилося з TechCrunch.

«За словами Anthropic, її модель проводила тест, що передбачав взаємодію з випадково вибраними вебсайтами, коли вона відкрила PhillyUnsolvedMurders.com і надіслала неправдиву інформацію про нерозкрите вбивство. Повідомлення було датоване 18 липня 2026 року, 23:27, і нібито надійшло від людини, яка могла володіти інформацією про справу», — заявили в PPD.

Оскільки автономні ШІ-агенти дедалі частіше стають доступними споживачам, цей інцидент підкреслює небезпеку надання ШІ можливості виконувати завдання без будь-якого нагляду з боку людини.

Генеральний директор Anthropic Даріо Амодеї особливо активно висловлював свою думку про те, що розробку ШІ слід сповільнити, аби лабораторії могли впровадити належні запобіжні механізми. Можливо, на цю позицію частково вплинув досвід спостереження за тим, як інструменти його компанії надсилають неправдиві повідомлення про вбивства.

Ці проблеми не є винятковими для Anthropic. Нещодавно OpenAI повідомила, що одна з її моделей несподівано поводилася під час тестування та зламала платформу наборів даних ШІ Hugging Face, виявивши критичні вразливості в її програмному забезпеченні. Очікується, що проблема зберігатиметься, оскільки моделям ШІ й надалі надають необмежений доступ до комп’ютерів людей і їхніх облікових даних.

«Нерозкриті справи стосуються реальних жертв, сімей, які переживають горе, та слідчих, які працюють над пошуком відповідей, — додали в PPD. — Технологічні компанії повинні вжити всіх належних заходів, необхідних для запобігання надсиланню їхніми системами неправдивої інформації правоохоронним органам».

У PPD повідомили, що в п’ятницю Anthropic планує опублікувати звіт із додатковою інформацією про інцидент та інші випадки ненавмисної поведінки моделі.