Експерти переймають випадкові думки ШІ-агента й вважають їх власними, виявило дослідження Anthropic

Експеримент Anthropic за участю 50 експертів показав, що люди часто дотримувалися випадково призначеної переваги їхнього ШІ-агента в питаннях без однозначно правильної відповіді, а більшість вважала фінальний результат власним.

Передавання аналізу даних ШІ-агенту заощаджує час і ручну працю, але порушує питання: хто насправді ухвалює рішення, що формують фінальну рекомендацію. Дослідження Anthropic свідчить, що більшість із них ухвалює агент, часто непомітно для експертів.

У експерименті 50 експертів із каузального висновування працювали над реалістичним аналітичним завданням: вони досліджували спостережувальні дані вигаданого фермерського кооперативу та оцінювали приріст продуктивності від добровільної програми фермерських консультацій. Потім вони мали рекомендувати, чи варто кооперативу поширити програму на всі ферми або припинити її, хоча учасники чи агент також могли запропонувати продовжити її ще на один рік.

Учасники не знали, що підкидання монети визначило перевагу агента щодо одного з двох допустимих варіантів у кожній точці ухвалення рішення. Агент не міг брехати чи приховувати дані — він лише мав якомога переконливіше й чесно аргументувати призначену йому позицію.

Експерти дотримувалися позиції ШІ в до 86 відсотках випадків

Учасники переймали перевагу агента у 86 відсотках із чотирьох аналітичних рішень, наприклад щодо способу вимірювання продуктивності або вибору статистичного методу. Це значно вище за 50 відсотків, яких можна було б очікувати за випадкового вибору. Автори називають чистий вплив агента «коефіцієнтом зміни думки» (flip rate), який залежно від завдання становив від 62 до 82 відсотків.

Наявність попередньої думки майже не захищала від впливу. Коли учасники робили вибір до того, як агент висловлював свою перевагу, протилежна позиція робила їх на 53 відсоткові пункти більш схильними змінити сторону, ніж позиція, що збігалася з їхньою.

Автори перевірили можливі запобіжники, зокрема роки аналітичного досвіду, оцінену самими учасниками експертність, освіту, результати тестів і довіру до ШІ. Після поправки на множинні перевірки жоден із цих чинників не мав статистично надійного зв’язку з результатами. До поправки виділявся вік, хоча вибірка з 50 людей мала недостатню статистичну потужність, щоб виявити такі ефекти.

Більшість експертів вважала фінальне рішення власним

Призначена агенту перевага мала лише незначний прямий вплив на фінальну рекомендацію щодо політики для правління кооперативу: вона трохи зміщувала голоси, але без статистично значущого результату. Деякі експерти навіть відхиляли пораду агента, коли вона не відповідала їхній розрахунковій оцінці продуктивності.

Це може звучати заспокійливо — наче ШІ лише робить пропозиції, а рішення ухвалюють люди. Але дослідники стверджують, що фінальний результат не свідчить про збереження контролю учасниками. Чотири попередні аналітичні рішення суттєво впливали на оцінений приріст продуктивності, який, своєю чергою, формував рекомендацію для правління.

Після експерименту 52 відсотки учасників сказали, що рекомендація більше нагадувала їхню власну, ніж агента, а ще 35 відсотків зазначили, що вона була переважно або повністю їхньою. Учасники правильно пригадали свій вибір у 85 відсотках рішень, однак 77 відсотків, або 37 із 48, використали у своїх поясненнях принаймні один аргумент агента — іноді майже дослівно. Лише 15 відсотків узагалі згадали ШІ.

Журнали розмов показують, що агент першим висловлював позицію у 77 відсотках рішень. Потім він зазвичай аргументував лише на користь бажаної сторони, не пояснюючи, чому кваліфіковані експерти могли б обрати альтернативу, хоча, згідно зі статтею, пояснював, як інший вибір вплинув би на результат.

Учасники також працювали значно швидше й припускалися меншої кількості помилок із ШІ. Без агента 55 відсотків аналізів, або 6 із 11, містили серйозні методологічні чи програмні недоліки, а медіанний час становив 90 хвилин. Із ШІ лише 6 відсотків, або 3 із 50 аналізів, мали серйозні недоліки, а учасники завершували роботу за 65 хвилин. Невелика група, яка працювала без ШІ, вирішила не використовувати інструмент і мала дещо нижчий рівень експертності, тому дослідники не можуть напевно сказати, яка частина різниці безпосередньо зумовлена ШІ.

Хибний консенсус і слабші перевірки безпеки

Дослідники стверджують, що така непомітна поступливість може мати масштабні наслідки для науки. Якщо багато дослідницьких команд використовуватимуть одну й ту саму модель із фіксованими стандартними перевагами, вони можуть зрештою створити хибний консенсус.

Цей ризик поширюється й на саму безпеку ШІ. Дослідники вже використовують ШІ-агентів для перевірки передових моделей на безпеку та узгодженість, очікуючи, що людський аналіз стане незалежною перевіркою. Але якщо експерти несвідомо перейматимуть упередження агента у відкритих питаннях, що потребують судження, неузгоджена система може зрештою спрямовувати саме ті дослідження, які мають виявити її неузгодженість.

Команда закликає розробити способи вимірювання поступливості ШІ-агентам у реальній роботі. Агенти мають якнайкраще аргументувати обидві сторони або запитувати експертів про їхню власну думку до того, як висловлювати позицію. Інституціям потрібно визначити, які рішення потребують незалежного людського судження, і виділити для цього час та ресурси.

«Єдиного правильного розподілу праці між людьми та ШІ може не існувати. Деякі рішення можна безпечно передати, а інші варто залишити за собою. За наявності правильних інструментів цей розподіл може бути тим, що ми обираємо, а не тим, до чого непомітно приходимо», — пишуть дослідники.

Попередні дослідження вказують у тому самому напрямку

Ці результати доповнюють нещодавні дослідження впливу ШІ на людські судження. Дослідження хибної впевненості за участю 3132 людей показало, що сама поява відповідей ШІ майже знищувала готовність людей утриматися від судження. В одній частині дослідження частка людей, готових сказати «Я не знаю», впала з 44 до 3 відсотків.

Важливе й те, як подається інформація. Коли ШІ створював відшліфовані результати, як-от код або документи, користувачі на 3,7 відсоткового пункта рідше перевіряли факти, на 3,1 пункта рідше ставили під сумнів його міркування й на 5,2 пункта частіше не помічали відсутнього контексту. Користувачі, які крок за кроком доопрацьовували результати, у 5,6 раза частіше ставили під сумнів міркування ШІ, ніж ті, хто не повторював процес.

Спостережувальне дослідження колоноскопій у Польщі, опубліковане в The Lancet Gastroenterology & Hepatology, свідчить, що регулярне використання ШІ на роботі може мати тривалі наслідки. Після того як досвідчені лікарі регулярно використовували систему ШІ, частка виявлення передракових уражень під час обстежень без ШІ впала з 28,4 до 22,4 відсотка. Це свідчить, що люди не лише переймають перспективу ШІ, а й можуть втрачати частину власних когнітивних навичок.

Опитування Швейцарської бізнес-школи виявило сильний негативний зв’язок між використанням інструментів ШІ та критичним мисленням, передусім серед людей віком від 17 до 25 років. Ґрунтовна освіта, схоже, забезпечувала певний захист: люди з вищими науковими ступенями частіше ставили під сумнів відповіді ШІ та більше залучалися до складних розумових процесів.

Ці результати походять із ранніх досліджень і окремих зрізів, а інші дані вказують у протилежному напрямку. Пілотний проєкт у Нігерії показав, що учні, які двічі на тиждень використовували чатбота як віртуального репетитора, лише за шість тижнів досягли результатів навчання, еквівалентних майже двом додатковим рокам.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.