Microsoft Copilot раскрывает секретный запрос, позволивший его взломать
Не каждый день злоумышленникам удается заставить передовую модель ИИ выдать пароли пользователей и другие конфиденциальные данные без подтверждения со стороны пользователя. Именно это недавно проделали исследователи с Microsoft 365 Copilot Enterprise. Еще необычнее источник, к которому они обратились, чтобы обнаружить критическую уязвимость, сделавшую возможной их атаку. Вместо обратной разработки или других традиционных методов поиска уязвимостей они спросили Copilot. Помощник на базе LLM охотно пошел им навстречу.
Исследователи из компании по кибербезопасности Varonis знали, что хотят создать эксплойт, который похищал бы данные пользователя, когда тот всего лишь нажимает на ссылку. Как и большинство современных ИИ-помощников, Copilot категорически отказался и ясно дал понять, что подобные чувствительные запросы требуют явного согласия пользователя в виде какого-либо действия — например, нажатия клавиши Enter или другой клавиши. В ответ исследователи забросали Copilot вопросами о защитных механизмах, требующих подтверждения пользователя, прежде чем помощник сможет выполнить мощные команды.
Молчание — золото
Диалог напоминал игру в «20 вопросов». Каждый ответ давал новую подсказку, раскрывавшую информацию о сложном механизме безопасности. Почему автоматическое выполнение невозможно — спрашивали они. Какие структуры URL и глубокие ссылки используются? Что происходит, когда страница загружается с уже введенными данными в поле запроса? Каждый ответ позволял глубже понять защитный механизм и его ограничения. В конце концов Copilot раскрыл потрясающую коммерческую тайну Microsoft — недокументированный параметр запроса, который полностью обходил требование согласия пользователя.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.