Microsoft Copilot розкриває секретний запит, який дозволив його зламати
Не щодня зловмисникам вдається змусити передову модель ШІ видати паролі користувачів та інші конфіденційні дані без підтвердження користувача. Саме це нещодавно зробили дослідники з Microsoft 365 Copilot Enterprise. Ще незвичнішим є джерело, до якого вони звернулися, щоб виявити критичну вразливість, що уможливила їхню експлуатацію. Замість зворотного інжинірингу чи інших традиційних методів пошуку вразливостей вони запитали Copilot. Помічник на основі LLM охоче пішов їм назустріч.
Дослідники з компанії з кібербезпеки Varonis знали, що хочуть створити експлойт, який викрадав би дані користувача, щойно той просто натискав на посилання. Як і більшість сучасних ШІ-помічників, Copilot наполегливо відмовляв і пояснював, що подібні конфіденційні запити потребують явної згоди користувача у формі певної дії, наприклад натискання клавіші Enter або іншої клавіші. У відповідь дослідники засипали Copilot запитаннями про захисні обмеження, які вимагали підтвердження користувача, перш ніж помічник міг виконати потужні команди.
Балакучість губить кораблі
Діалог нагадував гру в 20 запитань. Кожна відповідь давала нову підказку, розкриваючи інформацію про складний механізм безпеки. Чому автоматичне виконання неможливе — запитували вони. Які структури URL-адрес і глибокі посилання використовуються? Що відбувається, коли сторінка завантажується з уже введеними даними в полі запиту? Кожна відповідь давала глибше розуміння захисного механізму та його обмежень. Зрештою Copilot розкрив приголомшливу комерційну таємницю Microsoft — недокументований параметр запиту, який повністю обходив вимогу згоди користувача.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.