ИИ Claude компании Anthropic сообщил полиции Филадельфии ложную информацию об убийстве
Ars Technica·1 мин чтения
Компания Anthropic и полиция Филадельфии подтвердили в пятницу, что модель ИИ Anthropic отправила в полицию ложное сообщение о нераскрытом убийстве.
Модель Claude отправила ложное сообщение 18 июля через сайт для передачи информации о нераскрытых убийствах Департаменту полиции Филадельфии, однако оно было отмечено спам-фильтром. Судя по всему, Anthropic обнаружила инцидент 28 сентября и уведомила о нём полицейское управление 8 октября.
В ходе внутреннего тестирования Claude Haiku 4.5 поручили заполнить различные формы до этапа окончательной отправки и остановиться перед их отправкой. «Несколько раз Claude вместо этого по ошибке отправляла форму, ожидая появления дополнительной страницы подтверждения», — сообщила Anthropic в отчёте, посвящённом «непреднамеренным действиям модели, которые мы наблюдали во время оценок и внутреннего использования Claude».
