Крупнейшие имена в сфере ИИ поддерживают новый способ отказаться от скрейпинга

Новый инструмент позволит издателям применять свои предпочтения в отношении обучения ИИ сразу к нескольким краулерам.

Новый инструмент позволит издателям применять свои предпочтения в отношении обучения ИИ сразу к нескольким краулерам.

OpenAI, Google, Microsoft и Anthropic заявляют, что примут новый стандарт, который издатели смогут использовать, чтобы отказаться от скрейпинга со стороны ИИ, как ранее сообщило Search Engine Roundtable. С помощью этого инструмента издатели смогут применять свои предпочтения в отношении обучения ИИ сразу к нескольким компаниям в сфере ИИ, вместо того чтобы настраивать их для каждой отдельно.

Общий сигнал «токена политики» предложен Кевином Келли, техническим руководителем по стандартам в Anthropic, в рамках рабочей группы Internet Engineering Task Force (IETF). Он будет размещаться в файле robots.txt сайта, который уже давно указывает, каким веб-краулерам разрешено или запрещено сканировать сайт — для индексации в поиске, архивирования или обучения ИИ. Сейчас сайты должны отдельно сообщать о своих предпочтениях в отношении обучения ИИ каждой компании, занимающейся ИИ.

Объявление появилось в то время, когда издатели пытаются справиться с непрерывным наплывом ИИ-краулеров, сканирующих их сайты и передающих их содержимое в модели ИИ. Некоторые компании и организации пытались бороться с несанкционированным скрейпингом: стандарт Really Simple Licensing (RSL) позволяет издателям взимать плату с краулеров, посещающих их сайты, а Cloudflare по умолчанию блокирует ИИ-краулеров.

OpenAI, Google, Microsoft и Anthropic заявляют, что ограничат доступ своих ИИ-краулеров к сайту, если те обнаружат общий токен. Однако Microsoft предложит более детальные настройки, которые позволят издателям отказаться от обучения ИИ или заземления ИИ — процесса направления модели ИИ к проверенному источнику информации для уменьшения числа галлюцинаций. Microsoft отмечает, что сайты по-прежнему будут появляться в результатах поиска Bing независимо от их предпочтений.

Anthropic уже внедрила этот сигнал, а Google и Microsoft планируют поддержать его в следующем году. OpenAI заявляет, что реализует его «в ближайшие месяцы».

• Эмма Рот