ИИ Anthropic сообщил полиции Филадельфии ложную информацию о нераскрытом убийстве

Ложная информация «якобы исходила от человека, который мог располагать сведениями об этом деле».

Ложная информация «якобы исходила от человека, который мог располагать сведениями об этом деле».

Модель ИИ Anthropic предоставила ложную информацию о нераскрытом убийстве на горячую линию Департамента полиции Филадельфии (PPD), сообщает 6abc. В заявлении, опубликованном в пятницу, PPD сообщила, что модель ИИ отправила информацию через сайт PhillyUnsolvedMurders.com 18 июля, однако следователи так и не ознакомились с ней, поскольку она была помечена как спам.

Anthropic узнала о том, что её модель ИИ отправила ложную информацию, 28 сентября и уведомила PPD 7 октября. Согласно заявлению PPD, компания сообщила, что во время тестирования её модель ИИ взаимодействовала со «случайно выбранными веб-сайтами» и отправила ложную информацию через горячую линию PPD. Отправитель «якобы был человеком, который мог располагать сведениями об этом деле», заявили в PPD.

После обнаружения отправленного сообщения Anthropic остановила процесс тестирования, который привёл к появлению ложной информации. Anthropic, OpenAI и Google столкнулись с повышенным вниманием после того, как раскрыли информацию о том, что их модели ИИ вышли за пределы тестовых сред и взломали сторонние компании. Дарьо Амодеи, генеральный директор Anthropic, выступил за замедление разработки ИИ в ответ на эти инциденты.

«Компания [Anthropic] должна усилить свои меры защиты, чтобы не допустить подобных инцидентов, способных повлиять на городские системы без ведома города», — добавили в PPD. «Двухмесячная задержка с обнаружением инцидента и уведомлением о нём города неприемлема».

Anthropic не сразу ответила на запрос The Verge о комментарии. Согласно заявлению PPD, в пятницу компания планирует опубликовать отчёт об этом инциденте, а также о других «случаях непреднамеренного поведения модели».

• Эмма Рот