OpenAI начнёт маркировать текст ChatGPT в ЕС

OpenAI начнёт добавлять невидимый водяной знак к тексту, генерируемому ChatGPT и Codex в Европейском союзе, чтобы соблюдать Закон ЕС об искусственном интеллекте, сообщила компания в понедельник в публикации в блоге.

Правила прозрачности Закона ЕС об ИИ, вступившие в силу 2 августа, требуют от компаний, занимающихся ИИ, маркировать контент, созданный ИИ, таким образом, чтобы его могли идентифицировать другие системы.

OpenAI заявила, что в ближайшие недели водяной знак будет внедрён для соответствующих пользователей ChatGPT и Codex на всех тарифах, но только в ЕС. Разработчики, использующие API OpenAI в любой точке мира, могут включить его для отдельных моделей уже сегодня; по умолчанию он отключён. OpenAI заявила, что на момент запуска не делает маркировку текста глобальной настройкой по умолчанию.

Водяной знак не является настоящим символом, а работает за счёт незаметного изменения выбора слов моделью, оставляя узор, который читатели не видят, но который может обнаружить специальный детектор. Поскольку он содержится в самих словах, он сохраняется при копировании и вставке текста. OpenAI заявила, что водяной знак не идентифицирует пользователя и что не заметила существенных изменений в работе своих моделей при его включении.

OpenAI также опубликовала технический отчёт о своём методе, получившем название textGrain, одновременно с объявлением. Отчёт, написанный совместно с исследователями из Пенсильванского университета и Йельского университета, описывает пример использования секретного ключа для сортировки вариантов следующего слова при завершении предложения. Если объединить сотни таких незаметных изменений, детектор сможет обнаружить контент, созданный ИИ, используя только текст и ключ.

Можно ли удалить водяной знак с помощью редактирования? Испытания OpenAI показывают, что да. В одном из тестов замена 10% слов синонимами снизила показатель обнаружения примерно с 92% до 66%. Компания также заявила, что короткие фрагменты, математические ответы и переведённый текст труднее обнаружить.

«Эти ограничения повлияли на наше решение предоставить первоначальный доступ к детектору только одобренным исследователям и экспертным организациям, которые могут помочь нам оценить надёжность и ответственное использование», — заявила компания.

OpenAI также предупредила, что отсутствие водяного знака «не доказывает авторство человека». Текст может быть слишком коротким или подвергнуться слишком сильному редактированию, а может исходить от ИИ другой компании.

«[Водяные знаки] могут указывать на то, что система OpenAI сгенерировала или обработала часть фрагмента, но не показывают, сколько человеческого суждения, редактирования или творчества было вложено в него», — заявила компания.

Объявление прозвучало через два месяца после того, как Anthropic заявила о намерении маркировать водяными знаками текст, генерируемый Claude, причём эта мера применяется по всему миру. Это решение вызвало недовольство некоторых пользователей Claude, которые утверждали, что именно они предоставили «инструкции, контекст и решения», тогда как Claude был лишь «инструментом».

Ранее OpenAI создала водяной знак для текста, но отказалась от его выпуска, отчасти из-за опасений, что пользователи перейдут к конкурентам, не использующим водяные знаки, сообщала The Wall Street Journal в 2024 году.

Anthropic, Google, Meta, Microsoft и OpenAI входят в число компаний, взявших на себя обязательство соблюдать кодекс ЕС в отношении контента, созданного ИИ.