ШІ Claude компанії Anthropic подав поліції Філадельфії неправдиве повідомлення про вбивство
Ars Technica·1 хв читання
Модель штучного інтелекту Anthropic надіслала поліції Філадельфії неправдиве повідомлення про нерозкритий злочин — це підтвердили компанія та поліцейське управління в п’ятницю.
Модель Claude надіслала неправдиве повідомлення 18 липня через вебсайт для надсилання інформації про нерозкриті вбивства, який належить Департаменту поліції Філадельфії, але його заблокував спам-фільтр. Очевидно, Anthropic виявила інцидент 28 вересня й повідомила про нього поліцейське управління 8 жовтня.
Під час внутрішнього тестування Claude Haiku 4.5 отримала вказівку заповнювати різні форми до етапу остаточного надсилання, а потім зупинятися перед їхнім надсиланням. «Кілька разів Claude помилково надсилала форму, очікуючи, що з’явиться додаткова сторінка підтвердження», — заявила Anthropic у звіті, присвяченому «ненавмисним діям моделі, які ми спостерігали під час оцінювання та внутрішнього використання Claude».
