Найбільший недолік Pangram полягає в тому, що користувачі перетворюють його оцінки на публічне цькування

Pangram найняла «атакувального пса», щоб присоромлювати людей у соцмережах за використання ШІ. У цьому процесі змішуються два питання: чи використовувався ШІ та як саме його використовували. «Мисливці на ШІ» звинувачують своїх мішеней у тому, що ті не думають і не працюють самостійно — це твердження про те, як саме. Але їхній інструмент вимірює лише (приблизно) те, чи використовувався ШІ.

Як повідомляє WIRED, журналіст Род Бреслау на початку цього року запропонував засновнику Pangram Сперо свої послуги, бо йому набридло бачити створений ШІ контент у соцмережах. Бреслау консультував Pangram щодо стратегії в соцмережах і водночас активно вистежував імовірних користувачів ШІ. «Я хотів застосовувати жорсткіший підхід, бо вважав, що людям надто легко все сходить з рук», — сказав Бреслау WIRED.

Обґрунтування Бреслау своєї кампанії — це його особиста думка. «Кожен проголошує себе лідером у своїй ніші й будує навколо цього весь свій особистий бренд у Twitter та LinkedIn — це стосується керівників, генеральних директорів технологічних компаній», — сказав Бреслау в одному з попередніх інтерв’ю GamesBeat. «Якщо ви один із таких людей, ви повинні писати власні дописи. А якщо ви не пишете власні дописи в соцмережах, тоді я або будь-хто інший має право з вас посміятися».

Згодом Pangram припинила з ним співпрацю, оскільки компанія змінила напрям. Тепер вона виходить із того, що використання ШІ дедалі більше сприйматиметься нормально, і прагне виявляти навіть незначне редагування за допомогою ШІ, позиціонуючи себе як головний авторитет у перевірці оригінальності в публікаціях, освіті та інших сферах, — розповів Сперо WIRED. Але навіть після припинення співпраці з Бреслау генеральний директор Макс Сперо продовжив публічно оцінювати людей і викривати їх на основі результатів Pangram або, як він це назвав би, притягати людей до відповідальності, коли вони нібито намагалися приховати свою причетність до використання ШІ.

Бізнес-модель Pangram залежить від того, чи ототожнюватимуть люди використання ШІ з лінню або нечесністю, адже якщо ця стигма зникне, буде менше причин платити за виявлення.

Pangram виявляє використання ШІ, а не авторство ШІ

Але будь-яка оцінка виявлення, навіть абсолютно точна (а з мого досвіду тестування Pangram часто такою не є, про що йдеться нижче), показує лише, чи був, імовірно, залучений ШІ. Чи створила людина весь текст із одного запиту? Чи був ШІ партнером у процесі обмірковування? Чи допомагав він із формулюваннями? Чи автор просто пропустив власний текст через ШІ, щоб зробити мову плавнішою або перекласти його? Оцінка цього не може визначити.

Але «цькування з боку Pangram» натякає, що будь-яка участь ШІ означає, ніби автор не думав або йому було байдуже. Висока оцінка може так само стосуватися тексту, на заповнення якого людина витратила години, додавши оригінальні дослідження й аргументи, як і тексту, створеного за десять секунд за одним запитом. Pangram не може відрізнити одне від іншого. Щоб зробити це, їй довелося б спостерігати за самим процесом написання.

Показовий приклад: англомовна версія цієї статті, яку ви зараз читаєте, — це переклад мого оригіналу німецькою, підготовлений за допомогою ШІ, а потім відредагований вручну та ШІ. Pangram оцінила її як таку, що на «28 відсотків створена ШІ», позначивши останні абзаци як написані ШІ. Але кожен розділ був створений і відредагований однаково — із приблизно однаковим рівнем залучення ШІ й, безперечно, з однаковим рівнем людського задуму.

Самопроголошені «поліцейські ШІ», як-от Бреслау чи Сперо, усе одно використали б цю оцінку, щоб заявити, ніби останній абзац створив ШІ й він не відображає моїх думок. Гірше того: люди в академічних установах відхиляють роботи на основі таких відсоткових оцінок. Багато таких робіт написані дослідниками, для яких ця мова не є рідною, або людьми, які просто краще розбираються в науці, ніж у написанні текстів, і використовують ШІ, щоб допомогти чіткіше викласти свої результати. У такому разі Pangram карає їх за покращення власної роботи.

Варто розглянути історичну аналогію. Александр Дюма доручав помічникам, таким як Огюст Маке, писати чернетки своїх романів, а потім сам їх доопрацьовував, зокрема й такі класичні твори, як «Три мушкетери». Якість виникла завдяки задуму на початку та відшліфуванню в кінці. Детектор ШІ, застосований до Дюма, позначив би «використання Маке» й не помітив би всього, що робить його книги такими, якими вони є.

Новини ШІ без ажіотажу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний шість разів на рік звіт про передові розробки «AI Radar», повний доступ до архіву та доступ до розділу коментарів.