Най-големият недостатък на Pangram е, че потребителите превръщат оценките му в публично посрамване

Pangram нае „атакуващо куче“, което да порицава хората в социалните мрежи за използване на AI. В този процес се смесват два въпроса: дали е бил използван AI и как е бил използван. „Ловците на AI“ обвиняват набелязаните от тях хора, че не мислят или не работят самостоятелно — твърдение за начина на използване. Но техният инструмент измерва само (приблизително) дали е бил използван AI.

Според WIRED журналистът Род Бреслау предложил услугите си на основателя на Pangram Сперо по-рано тази година, защото му омръзнало да вижда генерирано от AI съдържание в социалните мрежи. Бреслау съветвал Pangram относно стратегията за социалните мрежи, като едновременно с това активно издирвал предполагаеми потребители на AI. „Исках да възприема по-суров подход, защото смятах, че хората се измъкват твърде лесно“, казал Бреслау пред WIRED.

Обосновката на Бреслау за кампанията му е негово лично мнение. „Всеки твърди, че е лидер в своята ниша, и изгражда целия си личен бранд около това в Twitter и LinkedIn — има ръководители, технологични директори“, казал Бреслау в по-ранно интервю за GamesBeat. „Ако сте един от тези хора, трябва сами да пишете публикациите си. И ако не пишете собствените си публикации в социалните мрежи, тогава аз или всеки друг трябва да ви се подиграва.“

По-късно Pangram прекрати отношенията си с него, докато компанията променяше посоката си. Сега тя приема, че използването на AI ще бъде все по-приемливо, и иска да открива дори минимално редактиране с AI, позиционирайки се като водещ авторитет в проверката на оригиналността в издателската дейност, образованието и други сфери, казва Сперо пред WIRED. Но дори след като се отказа от Бреслау, изпълнителният директор Макс Сперо продължи публично да оценява и разобличава хора въз основа на резултатите от Pangram или, както би го формулирал той, да търси отговорност от хората, когато се предполага, че са се опитали да скрият участието на AI.

Бизнес моделът на Pangram зависи от това хората да приравняват употребата на AI с мързел или нечестност, защото ако тази стигма изчезне, ще има по-малко причини да се плаща за откриване.

Pangram открива участие на AI, а не авторство от AI

Но всяка оценка от инструмент за откриване, дори напълно точна (а според моите тестове тази на Pangram често не е, както е обсъдено по-долу), показва само дали е вероятно да е участвал AI. Дали някой е генерирал цял текст с помощта на подсказка? Дали AI е служил като партньор в мисленето? Помогнал ли е с формулировките? Дали авторът просто е прекарал собствения си текст през AI, за да изглади езика или да го преведе? Оценката не може да каже.

Но „порицанието от Pangram“ внушава, че всяко участие на AI означава, че авторът не е мислил или не му е било грижа. Висока оценка може също толкова лесно да бъде получена за текст, в който някой е вложил часове оригинално изследване и аргументи, както и за текст, създаден от подсказка за десет секунди. Pangram не може да направи разликата. За да го направи, трябваше да наблюдава самото писане.

Показателен пример: Английската версия на тази статия, която четете в момента, е превод от моя оригинал на немски, създаден с помощта на AI и след това редактиран ръчно и от AI. Pangram я оцени като „28 процента AI“, като маркира последните абзаци като написани от AI. Но всеки раздел беше създаден и редактиран по един и същи начин, с приблизително еднакво участие на AI и със сигурност с еднакво човешко намерение.

Самопровъзгласилите се полицаи на AI като Бреслау или Сперо все пак биха използвали тази оценка, за да твърдят, че последният абзац е създаден от AI и не отразява моето мислене. Още по-лошото е, че хора в академични институции отхвърлят научни работи въз основа на процентни оценки като тези. Много от тези работи са дело на изследователи, които пишат на втори език или просто са по-добри в науката, отколкото в прозата, и използват AI, за да изразят резултатите си по-ясно. Използван по този начин, Pangram ги наказва за това, че подобряват работата си.

Струва си да се направи историческа аналогия. Александър Дюма имал помощници като Огюст Маке, които пишели чернови на романите му, а след това сам ги доработвал, включително класики като „Тримата мускетари“. Качеството произтичало от концепцията в началото и от изглаждането в края. Приложен към Дюма, детекторът на AI би маркирал „използване на Маке“ и би пропуснал всичко, което прави книгите му такива, каквито са.

AI новини без сензацията – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за AI, нашия ексклузивен шест пъти годишно доклад за новостите „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.