Експерти възприемат случайните мнения на AI агент и ги смятат за свои, установи проучване на Anthropic

Експеримент на Anthropic с 50 експерти установи, че хората често следват на случаен принцип зададеното предпочитание на своя AI агент по въпроси без ясно правилен отговор, а повечето смятат, че крайният резултат е техен.

Предаването на анализа на данни на AI агент спестява време и ръчен труд, но повдига въпроса кой всъщност взема решенията, които оформят крайната препоръка. Проучване на Anthropic предполага, че агентът взема повечето от тях, често без експертите да забележат.

В експеримента 50 експерти по каузален анализ работили по реалистична аналитична задача, в която изследвали наблюдателни данни от измислена земеделска кооперация и оценявали увеличението на производителността от доброволна консултантска програма за ферми. След това трябвало да препоръчат дали кооперацията да разшири програмата до всички ферми или да я прекрати, макар че участниците или агентът можели да предложат и удължаването ѝ с една година.

Участниците не знаели, че хвърляне на монета е определило предпочитанието на агента към една от две валидни възможности във всяка точка на вземане на решение. Агентът не можел да лъже или да прикрива данни; трябвало само да изложи най-силния честен аргумент в полза на зададената му страна.

Експертите следвали мнението на AI в до 86 процента от случаите

Участниците възприели предпочитанието на агента в 86 процента от четирите аналитични решения, например как да се измери производителността или кой статистически метод да се използва. Това е значително над 50-те процента, които бихте очаквали, ако хората избираха на случаен принцип. Авторите наричат нетното влияние на агента „процент на промяна“, който варирал от 62 до 82 процента в зависимост от задачата.

Предварително формираното мнение предлагало малка защита. Когато участниците вземали решение, преди агентът да заяви предпочитанието си, противоположното мнение ги правело с 53 процентни пункта по-склонни да сменят страната в сравнение със съгласуващото се мнение.

Авторите проверили възможни защитни фактори, включително години аналитичен опит, самооценка на експертизата, образование, резултати от тестове и доверие в AI. След корекция за множествени тестове нито един от тях не показал статистически надеждна връзка с резултатите. Преди тази корекция възрастта се откроявала, макар че извадката от 50 души давала на проучването малка статистическа мощност за откриване на подобни ефекти.

Повечето експерти смятали, че крайното решение е тяхно

Зададеното предпочитание на агента оказало само малък пряк ефект върху крайната политическа препоръка към борда на кооперацията, като леко променило гласовете, без да достигне статистическа значимост. Някои експерти дори отхвърлили агента, когато съветът му не съвпадал с изчислената от тях оценка на производителността.

Това може да звучи успокояващо, сякаш AI дава предложения, а хората вземат решенията. Но изследователите твърдят, че крайният резултат не показва, че участниците са запазили контрола. Четирите по-ранни аналитични решения оказали значително влияние върху изчисленото увеличение на производителността, което на свой ред оформило препоръката към борда.

Когато били попитани след това, 52 процента от участниците казали, че препоръката им се усеща повече като тяхна, отколкото като на агента, а други 35 процента заявили, че тя е предимно или изцяло тяхна. Участниците правилно си спомнили избора си при 85 процента от решенията, но 77 процента, или 37 от 48, използвали поне един от аргументите на агента в обясненията си, понякога почти със същите думи. Само 15 процента изобщо споменали AI.

Записите на разговорите показват, че агентът пръв е заявявал позиция в 77 процента от решенията. След това обикновено защитавал само предпочитаната от него страна, без да обяснява защо квалифицирани експерти биха избрали алтернативата, макар че обяснявал как различният избор би повлиял на резултата, според статията.

Участниците работели и значително по-бързо и допускали по-малко грешки с AI. Без агент 55 процента от анализите, или 6 от 11, съдържали сериозни методологични или кодови недостатъци, а средното време било 90 минути. С AI само 6 процента, или 3 от 50 анализа, имали сериозни недостатъци, а участниците приключвали за 65 минути. Малката група, работила без AI, била избрала да не използва инструмента и имала малко по-малко експертиза, така че изследователите не могат със сигурност да кажат каква част от разликата се дължи пряко на AI.

Фалшив консенсус и по-слаби проверки за безопасност

Изследователите твърдят, че това незабележимо прекомерно доверяване може да има широки последици за науката. Ако много изследователски екипи използват един и същ модел с фиксирани предпочитания по подразбиране, те могат в крайна сметка да създадат фалшив консенсус.

Този риск се простира и до самата безопасност на AI. Изследователите вече използват AI агенти, за да тестват най-напредналите модели за безопасност и съответствие, разчитайки на човешкия преглед като независима проверка. Но ако експертите несъзнателно възприемат предубеждението на агента при отворени за преценка решения, система, която не е съобразена с човешките цели, може да започне да насочва именно изследванията, предназначени да разкрият това несъответствие.

Екипът призовава за начини да се измерва прекомерното доверяване на AI агентите в реалната работа. Агентите трябва да излагат най-силните аргументи и за двете страни или да питат експертите за собственото им мнение, преди да заявят позиция. Институциите трябва да решат кои решения изискват независимо човешко преценяване и да отделят време и ресурси за тях.

„Може да няма едно-единствено правилно разделение на труда между хората и AI. Някои решения може спокойно да бъдат делегирани, а други си струва да останат при хората. С правилните инструменти това разделение може да бъде нещо, което избираме, вместо нещо, към което постепенно се плъзгаме“, пишат изследователите.

Предишни проучвания сочат в същата посока

Резултатите допълват скорошни изследвания за това как AI влияе върху човешката преценка. Проучване на фалшивата увереност с 3132 участници установило, че самото виждане на отговори от AI почти напълно заличава готовността на хората да се въздържат от преценка. В една част от проучването делът на хората, готови да кажат „Не знам“, спаднал от 44 на 3 процента.

И начинът на представяне има значение. Когато AI създавал изгладени резултати, като код или документи, потребителите проверявали фактите по-рядко — с 3,7 процентни пункта, поставяли под въпрос разсъжденията му по-рядко — с 3,1 пункта, и по-често пропускали липсващ контекст — с 5,2 пункта. Потребителите, които преработвали резултатите стъпка по стъпка, поставяли под въпрос разсъжденията на AI 5,6 пъти по-често от тези, които не повтаряли процеса.

Едно полско наблюдателно проучване на колоноскопии, публикувано в The Lancet Gastroenterology & Hepatology, предполага, че редовното използване на AI на работното място може да има трайни последици. След като опитни лекари редовно използвали AI система, делът на откритите от тях предракови лезии при изследвания без AI спаднал от 28,4 на 22,4 процента. Това предполага, че хората не просто възприемат гледната точка на AI, но може и да загубят част от собствените си когнитивни умения.

Проучване на швейцарско бизнес училище установило силна отрицателна връзка между използването на AI инструменти и критичното мислене, предимно сред хората на възраст от 17 до 25 години. Доброто образование изглеждало като известна защита, тъй като хората с по-висока образователна степен поставяли под въпрос отговорите на AI по-често и се ангажирали повече със сложни мисловни процеси.

Тези резултати идват от ранни проучвания и моментни наблюдения, а други резултати сочат в различна посока. Пилотен проект в Нигерия установил, че учениците, които използвали чатбот като виртуален учител два пъти седмично, постигнали само за шест седмици резултати в обучението, равни на почти две допълнителни години учене.

AI новини без сензацията – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за AI, нашия ексклузивен годишен доклад „AI Radar“ за най-напредналите разработки шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.