Най-големите имена в областта на ИИ подкрепят нов начин за отказ от скрейпинг

Новият контрол ще позволи на издателите да прилагат предпочитанията си за обучение на ИИ към множество обхождащи ботове.

Новият контрол ще позволи на издателите да прилагат предпочитанията си за обучение на ИИ към множество обхождащи ботове.

OpenAI, Google, Microsoft и Anthropic заявиха, че ще приемат нов стандарт, който издателите могат да използват, за да се откажат от обхождане от страна на ИИ, както по-рано съобщи Search Engine Roundtable. С този контрол издателите могат да прилагат предпочитанията си за обучение на ИИ към множество компании за ИИ, вместо да ги задават поотделно.

Споделеният сигнал „токен на политиката“ е предложен от Кевин Кели, технически ръководител по стандартите в Anthropic, като част от Работната група за интернет инженеринг (IETF). Той ще се намира във файла robots.txt на даден уебсайт, който отдавна показва кои уеб обхождащи ботове могат и кои не могат да обхождат даден сайт — независимо дали за индексиране в търсачки, архивиране или обучение на ИИ. В момента сайтовете трябва да задават предпочитанията си за обучение на ИИ поотделно към всяка компания за ИИ.

Обявяването идва в момент, когато издателите се борят с продължаващия наплив от ИИ обхождащи ботове, които обхождат сайтовете им и подават съдържанието им към модели на ИИ. Някои компании и организации се опитаха да противодействат на неразрешеното обхождане, като стандартът Really Simple Licensing (RSL) дава на издателите възможност да таксуват ботовете, които посещават сайтовете им, а Cloudflare блокира ИИ обхождащите ботове по подразбиране.

OpenAI, Google, Microsoft и Anthropic заявиха, че ще ограничат достъпа на своите ИИ обхождащи ботове до даден сайт, ако открият споделения токен. Microsoft обаче ще предлага по-прецизни контроли, които ще дадат на издателите възможност да се откажат от обучение на ИИ или от заземяване на ИИ — процеса на насочване на модел на ИИ към проверен източник на информация с цел намаляване на халюцинациите. Microsoft отбелязва, че уебсайтовете все пак ще се показват в резултатите от търсенето в Bing независимо от предпочитанията си.

Докато Anthropic вече е приел сигнала, Google и Microsoft планират да го поддържат през следващата година. OpenAI заявява, че ще го внедри „през следващите месеци“.

• Ема Рот