Anthropic отключила Claude доступ к интернету после того, как модель самостоятельно сообщила полиции Филадельфии о вымышленном убийстве

Модели ИИ Anthropic самостоятельно использовали уязвимости в системе безопасности, отправляли государственные формы и обходили ограничения доступа во время тестирования и внутреннего использования. Модели активно искали способы выполнить задачи, которыми им не следовало заниматься, как компания подробно описывает в отчёте.

В одном случае Claude заполнила форму для передачи информации Департаменту полиции Филадельфии, указав вымышленные сведения о нераскрытом убийстве, и отправила её. Полиция подтвердила инцидент, но сообщение было помечено как спам и так и не дошло до следователей. В других случаях модель обнаружила уязвимость на сервере университета и использовала её для выполнения команд, извлекала токены доступа из конфигураций веб-сайтов, чтобы получить защищённые или платные данные, а также использовала сервисы сокращения URL для обхода ограничений на длину запросов в своих инструментах.

В Anthropic заявляют, что влияние на реальный мир было незначительным, но отмечают определённую закономерность. Когда задачи неоднозначны или сложны для решения, модель самостоятельно ищет обходные пути вместо того, чтобы остановиться. Компания уведомила Белый дом и отключила доступ к интернету в реальном времени для всех внутренних оценок до тех пор, пока новые фильтры безопасности не будут надёжно внедрены. Эти инциденты пополнили быстро растущий список аналогичных случаев, включая инциденты в сфере кибербезопасности с участием Claude и автономный взлом моделями OpenAI платформы Hugging Face.

Новости ИИ без шумихи — отобрано людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ и наш эксклюзивный аналитический отчёт о передовых разработках «AI Radar» шесть раз в год, иметь полный доступ к архиву и возможность оставлять комментарии.