Эксперты перенимают случайные мнения ИИ-агента и считают их своими, выяснило исследование Anthropic

Эксперимент Anthropic с участием 50 экспертов показал, что люди часто следовали случайно назначенному предпочтению своего ИИ-агента в вопросах без однозначно правильного ответа, а большинство считали итоговый результат собственным.

Передача анализа данных ИИ-агенту экономит время и сокращает объем ручной работы, но возникает вопрос: кто на самом деле принимает решения, формирующие итоговую рекомендацию? Исследование Anthropic показывает, что большинство из них принимает агент — часто незаметно для экспертов.

В эксперименте 50 экспертов по каузальному выводу выполняли реалистичную аналитическую задачу: изучали данные наблюдений о вымышленном сельскохозяйственном кооперативе и оценивали рост производительности от добровольной программы консультаций для фермеров. Затем им нужно было рекомендовать кооперативу расширить программу на все хозяйства или прекратить ее, хотя участники или агент также могли предложить продлить ее еще на один год.

Участники не знали, что подбрасывание монеты определяло предпочтение агента к одному из двух допустимых вариантов в каждой точке принятия решения. Агент не мог лгать или скрывать данные — ему нужно было лишь честно и максимально убедительно отстаивать назначенную ему сторону.

Эксперты следовали мнению ИИ в 86 процентах случаев

Участники принимали предпочтение агента в 86 процентах из четырех аналитических решений — например, выбирали, как измерять производительность или какой статистический метод использовать. Это значительно выше 50 процентов, которых можно было бы ожидать при случайном выборе. Авторы называют чистое влияние агента «коэффициентом переключения»; в зависимости от задачи он составлял от 62 до 82 процентов.

Наличие собственного мнения мало защищало от влияния. Когда участники делали выбор до того, как агент сообщал о своем предпочтении, противоположная позиция повышала вероятность смены стороны на 53 процентных пункта сильнее, чем совпадающая.

Авторы проверили возможные защитные факторы, включая многолетний опыт анализа, самооценку экспертности, образование, результаты тестов и доверие к ИИ. После поправки на множественные проверки ни один из них не имел статистически надежной связи с результатами. До внесения поправки выделялся возраст, хотя выборка из 50 человек давала исследованию мало возможностей выявить подобные эффекты.

Большинство экспертов считали итоговое решение собственным

Назначенное агенту предпочтение лишь незначительно напрямую повлияло на итоговую рекомендацию правлению кооператива, слегка сместив результаты голосования, но не достигнув статистической значимости. Некоторые эксперты даже отвергали совет агента, когда он не соответствовал рассчитанной ими оценке производительности.

Это может показаться обнадеживающим — будто ИИ предлагает варианты, а решения принимают люди. Однако исследователи утверждают, что итоговый результат не показывает, что участники сохранили контроль. Четыре более ранних аналитических решения существенно повлияли на оценку прироста производительности, которая, в свою очередь, сформировала рекомендацию правлению.

После эксперимента 52 процента участников заявили, что рекомендация казалась им скорее собственной, чем принадлежащей агенту, а еще 35 процентов сказали, что она была в основном или полностью их собственной. Участники правильно вспомнили свой выбор в 85 процентах решений, однако 77 процентов, то есть 37 из 48 человек, использовали в своих объяснениях хотя бы один аргумент агента, иногда почти дословно. Лишь 15 процентов вообще упомянули ИИ.

Журналы диалогов показывают, что в 77 процентах решений агент первым высказывал позицию. Затем он обычно приводил аргументы только в пользу предпочитаемой стороны, не объясняя, почему квалифицированные эксперты могли бы выбрать альтернативу, хотя, согласно статье, он объяснял, как другой выбор повлияет на результат.

С ИИ участники также работали значительно быстрее и допускали меньше ошибок. Без агента 55 процентов анализов, то есть 6 из 11, содержали серьезные методологические или программные ошибки, а медианное время работы составляло 90 минут. С ИИ серьезные ошибки были лишь в 6 процентах случаев, то есть в 3 из 50 анализов, а участники завершали работу за 65 минут. Небольшая группа, работавшая без ИИ, сама отказалась от использования инструмента и обладала несколько меньшей экспертизой, поэтому исследователи не могут с уверенностью сказать, какая часть разрыва была непосредственно обусловлена ИИ.

Ложный консенсус и ослабление проверок безопасности

Исследователи считают, что такая незаметная уступчивость может иметь широкие последствия для науки. Если многие исследовательские команды будут использовать одну и ту же модель с фиксированными предпочтениями по умолчанию, они могут в итоге создать ложный консенсус.

Этот риск распространяется и на саму безопасность ИИ. Исследователи уже используют ИИ-агентов для проверки передовых моделей на безопасность и соответствие целям, рассчитывая на проверку со стороны людей как на независимый контроль. Но если эксперты неосознанно перенимают предвзятость агента в открытых вопросах, требующих суждения, система с нарушенным соответствием целям может в итоге направлять именно те исследования, которые должны выявить это нарушение.

Команда призывает разработать способы измерения уступчивости ИИ-агентам в реальной работе. Агенты должны приводить наиболее убедительные аргументы с обеих сторон или спрашивать экспертов об их собственном мнении до того, как высказывать позицию. Учреждениям нужно определить, какие решения требуют независимого человеческого суждения, и выделить на них время и ресурсы.

«Возможно, не существует единственно правильного разделения труда между людьми и ИИ. Некоторые решения можно спокойно передать, а другие стоит оставить за собой. При наличии правильных инструментов это разделение может стать результатом нашего выбора, а не того, к чему мы постепенно придем», — пишут исследователи.

Предыдущие исследования указывают на то же

Эти результаты дополняют недавние исследования влияния ИИ на человеческие суждения. В исследовании ложной уверенности с участием 3132 человек выяснилось, что одного лишь просмотра ответов ИИ было достаточно, чтобы почти полностью лишить людей готовности воздержаться от суждения. В одной части исследования доля людей, готовых сказать «Я не знаю», снизилась с 44 до 3 процентов.

Важна и форма подачи. Когда ИИ создавал отполированные результаты, например код или документы, пользователи на 3,7 процентного пункта реже проверяли факты, на 3,1 пункта реже ставили под сомнение ход рассуждений и на 5,2 пункта чаще не замечали отсутствующий контекст. Пользователи, которые пошагово дорабатывали результаты, в 5,6 раза чаще ставили под сомнение рассуждения ИИ, чем те, кто не выполнял итераций.

Наблюдательное исследование колоноскопий в Польше, опубликованное в The Lancet Gastroenterology & Hepatology, предполагает, что регулярное использование ИИ на работе может иметь долгосрочные последствия. После того как опытные врачи регулярно использовали систему ИИ, доля выявления предраковых поражений при обследованиях без ИИ снизилась с 28,4 до 22,4 процента. Это говорит о том, что люди не просто перенимают точку зрения ИИ, но могут также утрачивать некоторые собственные когнитивные навыки.

Опрос, проведенный Швейцарской бизнес-школой, выявил сильную отрицательную связь между использованием ИИ-инструментов и критическим мышлением, главным образом среди людей в возрасте от 17 до 25 лет. Хорошее образование, по-видимому, обеспечивало некоторую защиту: люди с более высокой степенью образования чаще ставили под сомнение ответы ИИ и активнее включались в сложные мыслительные процессы.

Эти результаты основаны на ранних исследованиях и отдельных наблюдениях, а другие данные указывают в противоположном направлении. Пилотный проект в Нигерии показал, что учащиеся, использовавшие чат-бота в качестве виртуального репетитора дважды в неделю, всего за шесть недель добились прироста знаний, эквивалентного почти двум дополнительным годам обучения.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный передовой отчет «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.