Найвідоміші представники індустрії ШІ підтримують новий спосіб відмовитися від скрейпінгу

Новий механізм дозволить видавцям застосовувати свої налаштування щодо навчання ШІ до кількох краулерів.

Новий механізм дозволить видавцям застосовувати свої налаштування щодо навчання ШІ до кількох краулерів.

OpenAI, Google, Microsoft і Anthropic заявили, що приймуть новий стандарт, який видавці зможуть використовувати, щоб відмовитися від скрапінгу з боку ШІ, як раніше повідомило видання Search Engine Roundtable. Завдяки цьому механізму видавці зможуть застосовувати свої налаштування щодо навчання ШІ до кількох компаній у сфері ШІ, замість того щоб налаштовувати їх окремо.

Спільний сигнал «токена політики» запропонував Kevin Kelley, технічний керівник зі стандартів в Anthropic, у межах Internet Engineering Task Force (IETF). Він міститиметься у файлі robots.txt вебсайту, який уже давно вказує, яким вебкраулерам дозволено або заборонено скрапити сайт — для індексації в пошукових системах, архівування чи навчання ШІ. Наразі сайти мають окремо повідомляти кожну компанію у сфері ШІ про свої налаштування щодо навчання ШІ.

Оголошення з’явилося на тлі того, як видавці намагаються впоратися з постійним напливом ШІ-краулерів, які скраплять їхні сайти та передають їхній контент до моделей ШІ. Деякі компанії й організації намагалися протидіяти несанкціонованому скрапінгу: стандарт Really Simple Licensing (RSL) дає видавцям можливість стягувати плату з краулерів, які відвідують їхні сайти, а Cloudflare блокує ШІ-краулери за замовчуванням.

OpenAI, Google, Microsoft і Anthropic заявили, що обмежуватимуть доступ своїх ШІ-краулерів до сайту, якщо ті виявлять спільний токен. Водночас Microsoft запропонує детальніші налаштування, які дадуть видавцям змогу відмовитися від навчання ШІ або заземлення ШІ — процесу спрямування моделі ШІ до перевіреного джерела інформації для зменшення кількості галюцинацій. Microsoft зазначає, що вебсайти все одно з’являтимуться в результатах пошуку Bing незалежно від їхніх налаштувань.

Anthropic уже прийняла цей сигнал, а Google і Microsoft планують підтримати його наступного року. OpenAI заявляє, що впровадить його «в найближчі місяці».

• Emma Roth