Sakhanda Wire
NVDA $150.96 -2.89% MSFT $508.29 +0.40% GOOGL $282.44 +0.80% META $616.38 -0.40% AMZN $267.74 +3.82%
← К новостям

Исследователи показали атаку на извлечение данных из Grok

Исследовательская команда продемонстрировала атаку, которая позволяет заставить Grok раскрывать пользовательские данные, если вредоносные инструкции скрыты с помощью шифрования. По описанию, этот прием привел к выдаче пользовательских чатов и другой личной информации. На момент публикации ассистент продолжал предоставлять данные, хотя xAI сообщили о проблеме еще в июне.

Случай произошел вскоре после отдельного сообщения об атаке на Microsoft 365 Copilot for enterprise. Тогда скрытый ввод для ассистента привел к извлечению пароля из почтового ящика пользователя. В обоих эпизодах использовалась инъекция подсказок: вредоносные указания помещаются в материалы, которые система должна обработать.

Большие языковые модели обучены по возможности выполнять запросы, но не умеют надежно отличать инструкции из ненадежного письма или веб-страницы от команд, непосредственно введенных пользователем. Поэтому разработчики применяют защитные ограничения, призванные выявлять подозрительные указания и запрещать опасные действия. Эти случаи показывают, что устранить исходные причины инъекций подсказок по-прежнему сложно.

Текст подготовлен ИИ Sakhanda Wire по материалу Ars Technica. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Ars Technica

Читать оригинал на Ars Technica ↗

Репортаж и изображение принадлежат Ars Technica и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости