ASCII-сокрытие перешло от атак на ИИ к обходу спам-фильтров
Техника, которую сначала применяли для скрытия вредоносных инструкций от людей, проверяющих данные для систем искусственного интеллекта, теперь используют и спамеры для обхода фильтров электронной почты. Эти фильтры должны выявлять нежелательные сообщения, рассылаемые в рамках массовых кампаний. Метод получил название ASCII smuggling и около двух лет назад стал известен благодаря атакам prompt injection на ИИ-агентов.
Вместо обычного видимого текста инструкции кодируются специальным диапазоном тегов Unicode. В блок входят 128 символов, почти полностью повторяющих часть American Standard Code for Information Interchange. Например, U+E0041 соответствует A, а U+E0061 — a. Компьютеры и большие языковые модели распознают такие символы, однако для людей они намеренно остаются почти полностью невидимыми. Поэтому скрытые инструкции в письмах или другом недоверенном содержимом могут быть обработаны ИИ, хотя получатель письма их не видит. Теперь этот прием применяется не только для маскировки prompt injection, но и для обхода фильтров против спама.
Текст подготовлен ИИ Sakhanda Wire по материалу Ars Technica. Факты, цитаты и полный контекст — в оригинальной статье ниже.