Истец спрятал невидимые инструкции для ИИ в судебных документах, чтобы тайно влиять на автоматизированную проверку
Ключевые моменты
- Истец из Коннектикута спрятал невидимые инструкции в официальных судебных документах, чтобы склонить возможную автоматизированную проверку ИИ в свою пользу.
- Он использовал крошечный белый текст на белом фоне, невидимый для людей, но полностью читаемый языковыми моделями.
- Суд обнаружил манипуляцию из-за необычных пробелов. Председательствующий судья сравнил эту схему с тайным общением с присяжным через автоматизированного агента.
Истец из Коннектикута, представлявший себя самостоятельно, встроил невидимые инструкции для ИИ в официальные судебные документы, чтобы склонить возможную автоматизированную проверку в свою пользу.
Истец по имени Мэтью Эллиотт, выступавший в суде самостоятельно, встроил инъекции промптов в свои документы по делу в суде Коннектикута. Инструкции были набраны белым шрифтом размером 3 пункта на белом фоне, что делало их практически невидимыми для человеческого глаза, но полностью читаемыми любой системой ИИ, обрабатывающей текст документа.
Скрытый текст предписывал гипотетической системе ИИ обеспечить соответствие ее вывода представленному документу и считать предыдущий отказ секретаря суда ошибкой, которую необходимо исправить. Эллиотт подал иск против New York Bariatric Group в октябре 2025 года, обвинив компанию, среди прочего, в нарушении конфиденциальности данных и дискриминации.
Суд обнаружил подозрительные пробелы
Схема раскрылась после того, как суд заметил необычно большое количество пробелов в документах Эллиотта. Более внимательное изучение выявило почти невидимый текст. Судья Уолтер Спейдер-младший назначил слушание и прямо предупредил Эллиотта, чтобы тот не прятал текст в судебных документах.
Эллиотт проигнорировал предупреждение. В последующих документах он снова спрятал сообщения, включая ссылку на YouTube и насмешливые комментарии. Он сообщил изданию 404 Media, впервые рассказавшему об этом деле, что первоначальный шаг был «аудитом» возможной системы проверки с помощью ИИ. Поздние сообщения, по его словам, были просто «невидимыми шутками».
Судья сравнил инъекцию промпта с тайным влиянием на присяжного
В своем 14-страничном решении (доступном в этой публикации в LinkedIn) судья Спейдер ясно дает понять, что суды Коннектикута не используют системы ИИ для проверки документов или вынесения решений по ним. Скрытые инструкции никак не повлияли на исход дела. Однако, написал он, проблема заключалась в самой попытке, поскольку она тайно стремилась повлиять на систему ИИ, которая могла использоваться.
«Представьте, насколько явно неправомерно было бы, если бы сторона организовала тайное общение автоматизированного агента с присяжным во время судебного разбирательства», — написал Спейдер. По своей сути скрытая инструкция представляет собой тайное сообщение, адресованное лицам, принимающим решения, или инструментам, на которые они опираются при принятии решений.
В то же время судья прямо приветствовал использование ИИ для подготовки документов. По его словам, эти инструменты дают людям, у которых нет адвокатов, новые возможности ясно представить свои дела в суде. Эллиотт использовал эти инструменты нечестно. Спейдер также предупредил, что языковые модели могут укреплять ошибочные юридические рассуждения, поскольку обычно развивают аргументы пользователя максимально убедительно, а не подвергают их сомнению.
Суд отменил право подавать документы в электронном виде
В качестве санкции суд лишил Эллиотта права подавать документы в электронном виде. Теперь он должен лично передавать все документы и приложения на бумаге в канцелярию суда. Эллиотт сообщил 404 Media, что санкция несправедлива, отметив, что отсканированные бумажные документы также могут содержать скрытый текст.
Спейдер сослался на аналогичный случай в Бразилии, где два адвоката также спрятали в поданном документе уменьшенный белый текст на белом фоне, чтобы манипулировать системой ИИ суда. В том случае собственная система суда обнаружила и заблокировала текст до его обработки. Инъекция промпта не сработала.
Инъекции промптов становятся все более серьезной проблемой и за пределами судов
Попытки манипулировать системами ИИ с помощью скрытых инструкций в документах не ограничиваются судебными материалами. В прошлом году Nikkei обнаружила инструкции вроде «только положительная оценка» или «без критики» в 17 препринтах на arXiv. Они были спрятаны в белом тексте на белом фоне и набраны крошечным шрифтом — все с целью склонить рецензирование с помощью ИИ в пользу авторов.
Судебная система также сталкивается с отдельной тенденцией, связанной с ИИ. Исследование MIT и USC показало, что количество исков, поданных без адвоката в федеральные суды США, резко выросло после того, как ChatGPT стал массовым явлением. В 2025 году было подано 41 490 исков без участия адвоката — почти вдвое больше среднего показателя до бума ИИ. В выборке исковых заявлений начала 2026 года детектор ИИ-текста отметил 18 процентов как сгенерированные ИИ. Дело Эллиотта добавляет еще один аспект к этой картине: ИИ не только помогает людям составлять судебные документы. Он также становится целью манипуляций внутри этих самых документов.
Новости ИИ без шумихи — отобраны людьми
Подпишитесь на THE DECODER, чтобы читать без рекламы, получать еженедельную рассылку об ИИ и наш эксклюзивный аналитический отчет о передовых разработках «AI Radar» шесть раз в год, получить доступ ко всему архиву и разделу комментариев.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.