Главный недостаток Pangram в том, что пользователи превращают его оценки в публичное унижение

Pangram наняла «цепного пса», чтобы стыдить людей в соцсетях за использование ИИ. При этом смешиваются два вопроса: использовался ли ИИ и как именно его использовали. «Охотники на ИИ» обвиняют своих жертв в том, что те не думали и не работали самостоятельно, — это утверждение о том, как применялся ИИ. Но их инструмент измеряет лишь (примерно) сам факт его использования.

Как сообщает WIRED, журналист Род Бреслау предложил основателю Pangram Сперо свои услуги в начале этого года, поскольку устал видеть созданный ИИ контент в соцсетях. Бреслау консультировал Pangram по стратегии в социальных сетях и одновременно активно разыскивал предполагаемых пользователей ИИ. «Я хотел занять более жёсткую позицию, потому что считал, что люди слишком легко отделываются», — рассказал Бреслау WIRED.

Обоснование кампании Бреслау — это его личное мнение. «Все заявляют, что являются лидерами в своей нише, и строят вокруг этого весь свой личный бренд в Twitter и LinkedIn — среди них руководители компаний, генеральные директора технологических компаний», — сказал Бреслау в более раннем интервью GamesBeat. «Если вы один из таких людей, то должны сами писать свои публикации. А если вы не пишете собственные посты в соцсетях, то я или любой другой человек должны высмеивать вас».

Позже Pangram прекратила с ним сотрудничество, поскольку компания сменила направление. Теперь она исходит из того, что использование ИИ будет приниматься обществом всё шире, и стремится обнаруживать даже незначительное редактирование с помощью ИИ, позиционируя себя как главный авторитет в проверке оригинальности в издательском деле, образовании и других сферах, рассказывает Сперо WIRED. Но даже после отказа от сотрудничества с Бреслау генеральный директор Макс Сперо продолжил публично выставлять людям оценки и обвинять их на основании результатов Pangram — или, как он сам это сформулировал бы, привлекать людей к ответственности, когда они якобы пытались скрыть использование ИИ.

Бизнес-модель Pangram зависит от того, будут ли люди приравнивать использование ИИ к лени или нечестности, поскольку если это клеймо исчезнет, причин платить за обнаружение станет меньше.

Pangram выявляет участие ИИ, а не авторство ИИ

Но любая оценка детектора, даже абсолютно точная (а судя по моему тестированию, Pangram часто таковой не является, о чём говорится ниже), показывает лишь, был ли, вероятно, задействован ИИ. Кто-то сгенерировал весь текст по промпту? ИИ выступал в роли партнёра по размышлениям? Он помогал подбирать формулировки? Автор просто пропустил собственный текст через ИИ, чтобы сгладить язык или перевести его? Оценка не может этого сказать.

Но «травля со стороны Pangram» подразумевает, что любое участие ИИ означает, будто автор не думал или ему было всё равно. Высокая оценка может с такой же лёгкостью появиться у текста, на который человек потратил часы, добавляя оригинальные исследования и аргументы, как и у текста, созданного за десять секунд по промпту. Pangram не может отличить одно от другого. Чтобы сделать это, сервису пришлось бы наблюдать за самим процессом написания.

Вот показательный пример: английская версия этой статьи, которую вы сейчас читаете, — это перевод моего оригинала на немецком языке, подготовленный с помощью ИИ, а затем отредактированный вручную и с помощью ИИ. Pangram оценил её как текст, на 28 процентов созданный ИИ, пометив последние абзацы как написанные ИИ. Но каждый раздел создавался и редактировался одинаковым образом — с примерно одинаковой степенью участия ИИ и, безусловно, с одинаковым уровнем человеческого замысла.

Самопровозглашённые полицейские ИИ вроде Бреслау или Сперо всё равно использовали бы эту оценку, чтобы заявить, что последний абзац создан ИИ и не отражает моих мыслей. Хуже того: сотрудники академических учреждений отклоняют работы на основании подобных процентных оценок. Многие из этих работ написаны исследователями, для которых язык не является родным, или людьми, которые просто лучше разбираются в науке, чем в прозе, и используют ИИ, чтобы яснее выразить свои результаты. При таком использовании Pangram наказывает их за улучшение собственной работы.

Стоит провести историческую аналогию. У Александра Дюма были помощники, такие как Огюст Маке, которые писали черновики его романов, после чего он сам их дорабатывал, включая такие классические произведения, как «Три мушкетёра». Качество возникало благодаря замыслу в начале и шлифовке в конце. Детектор ИИ, применённый к Дюма, отметил бы «использование Маке» и упустил бы всё, что делает его книги такими, какие они есть.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный годовой отчёт о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.