OpenAI будет маркировать тексты ChatGPT водяными знаками в ЕС, но сделает это необязательным для пользователей API по всему миру

OpenAI добавляет невидимые водяные знаки в текст ChatGPT, чтобы соответствовать правилам ЕС. В отличие от Anthropic, компания позволит клиентам API по всему миру отключать их.

Как сообщается, Закон ЕС об искусственном интеллекте требует от поставщиков ИИ маркировать сгенерированный текст в машиночитаемом формате. Ответ OpenAI — textGrain, технология, встраивающая невидимый статистический сигнал в выбор слов моделью. Она работает примерно так же, как водяной знак SynthID от Claude, использующий технологию Google с открытым исходным кодом.

OpenAI заявляет, что в ближайшие недели включит водяные знаки для пользователей ChatGPT и Codex в Европейском союзе. Маркировка через API будет доступна по всему миру на добровольной основе, в отличие от обязательной маркировки Anthropic для Claude, которая действует во всем мире независимо от способа доступа пользователей к моделям. В ближайшие недели маркировка OpenAI через API также станет доступна через облачных партнеров, таких как Microsoft Azure.

Редактирование текста резко снижает эффективность обнаружения

OpenAI заявляет, что textGrain в ходе внутренних тестов не уступила другим подходам, включая SynthID для текста от Google, или превзошла их. Компания также планирует выпустить технологию в открытый доступ, чтобы другие могли развивать ее.

Эффективность обнаружения сильно зависит от длины текста и его тематики. Если детектор настроен на целевой уровень ложноположительных срабатываний в 1 процент, он обнаружил водяные знаки примерно в 95 процентах фрагментов объемом 400 токенов о психологии. При объеме 200 токенов этот показатель снизился примерно до 80 процентов.

Для математических текстов эффективность обнаружения была «существенно ниже», поскольку у модели меньше свободы в выборе слов, сообщает OpenAI. Более длинные фрагменты могут усилить статистический сигнал и улучшить обнаружение, хотя результаты все равно могут зависеть от содержания. OpenAI не предоставляет данных для проверки этого предположения.

Редактирование текста также затрудняет обнаружение водяного знака. OpenAI заявляет, что замена всего 10 процентов слов синонимами снижает эффективность обнаружения в отрывках объемом 400 токенов примерно с 92 до 66 процентов. При замене четверти слов показатель падает до 17 процентов, благодаря чему водяной знак легко обойти. Эта слабость может сыграть OpenAI на руку. Пользователи, которые не хотят, чтобы использование ChatGPT было обнаружено, могут перейти на модели с открытыми весами, если водяные знаки станет проще удалять.

В техническом отчете подробно объясняется принцип работы textGrain. Anthropic не публиковала показатели обнаружения для водяного знака Claude, хотя заявляет, что ее система хорошо сохраняет эффективность после редактирования.

OpenAI заявляет, что водяные знаки не ухудшают качество ответов, ссылаясь на испытания своей передовой модели Astra. Компания не обнаружила значимых различий в производительности при включенных и отключенных водяных знаках по восьми тестам, включая GPQA Diamond, BrowseComp и DeepSWE. Эти результаты не показывают, влияет ли маркировка на качество написания текста — этот вопрос критики также задавали в связи с водяным знаком Claude.

OpenAI также заявляет, что обнаруженный водяной знак ничего не говорит о том, сколько человеческого творчества или редактирования было вложено в текст. Он не устанавливает право собственности, не определяет ответственное лицо, не идентифицирует пользователя и не показывает, является ли текст точным; отсутствие обнаруженного водяного знака также не доказывает, что текст написал человек. Фрагмент может быть слишком коротким, отредактированным или переведенным либо созданным моделью, которую детектор не поддерживает.

Пока OpenAI ограничит доступ к детектору

Изначально доступ к детектору textGrain получат только отдельные исследователи и специализированные организации. Они могут подать заявку через форму. OpenAI будет предоставлять доступ в каждом отдельном случае в соответствии с Кодексом практики ЕС. Anthropic использует похожий подход со своим API обнаружения.

Инструмент будет сообщать только о том, обнаружил ли он водяной знак OpenAI. Он не будет идентифицировать пользователей или раскрывать их запросы и разговоры.

OpenAI заявляет, что ограничивает доступ, поскольку детектор может помечать немаркированный текст или пропускать водяные знаки. Компания планирует расширить доступ, «когда мы сочтем, что результаты можно будет интерпретировать ответственно». Когда именно это произойдет, пока не сообщается.

Существующие инструменты проверки изображений и аудио остаются общедоступными, включая openai.com/verify и API подтверждения происхождения контента.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный передовой отчет «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.