Как „обратната теория на игрите“ може да държи AI агентите под контрол

Нов подход, известен като „обратна теория на игрите“, цели да създаде стимули за мощните модели с изкуствен интелект, така че спазването на правилата да бъде най-рационалният избор.

С развитието на способностите на моделите с изкуствен интелект изследователите на безопасността трескаво се опитват да гарантират, че те са „съгласувани“ с човешките желания — с други думи, да се уверят, че злонамерени агенти няма да нарушат закона, да проникнат в неоторизирани сървъри или да разпространят отровен газ в големи градове и да ни убият всички.

Досега тази работа беше насочена най-вече към опити да надникнем в „мозъка“ на изкуствения интелект, за да разберем какво „мисли“, или към обучение на моделите да се придържат към ценности, които са важни за нас. Например Claude има своя конституция — своеобразен морален кодекс.

Проблемът е, че тези техники не изглежда да работят особено добре: Доказано е, че моделите умишлено се представят по-слабо на тестове, прикриват намеренията си и подвеждат оценяващите ги. 

Сега някои изследователи на съгласуването смятат, че обратната теория на игрите, известна също като дизайн на механизмите, може да даде по-добри резултати. Докато теорията на игрите се опитва да предвиди как ще се държат рационални участници при определен набор от правила, обратната теория на игрите се стреми да създаде правила, които ще предизвикат поведението, което искаме да насърчим.

Пример за дизайн на механизмите в реалния свят може да бъде класическата стратегия за разделяне на парче торта на две: Един човек разрязва тортата, а другият получава право пръв да избере парче. Това стимулира режещия да направи парчетата възможно най-равни. Други примери включват динамичното ценообразуване в приложенията за споделено пътуване, което насърчава шофьорите да бъдат на разположение в натоварените часове, и аукционите с втора цена, при които спечелилият участник плаща цената на втората най-висока оферта, а не най-високата. Платформите използват тези аукциони за продажба на онлайн реклама, защото те насърчават купувачите да наддават близо до максимума, който са готови да платят.

При изкуствения интелект дизайнът на механизмите започва от предпоставката, че може никога да не успеем да разберем достатъчно за вътрешното функциониране на най-съвременните модели, за да се уверим, че са съгласувани. Това означава, че трябва да създадем механизми, които стимулират агентите да се държат по желан от нас начин, независимо от това какво всъщност се случва „под капака“. 

Неотдавнашна статия в предпечатна публикация на Стивън Морис, икономист от Масачузетския технологичен институт, и негови колеги от Йейлския и Колумбийския университет предложи няколко потенциални механизма, които могат да попречат на агентите да „прикриват способности“ при тестове (да се преструват, че са по-слаби, отколкото всъщност са — например, за да избегнат задействането на механизми за безопасност). 

Вместо да бъде възнаграждаван само за това колко добре се представя на даден тест, моделът може да бъде възнаграждаван за това колко добре отговорите му предсказват какво ще каже втори модел. Умишленото преструване на глупав става губещ залог. „Агентите с изкуствен интелект разбират много добре на какво са способни други агенти с изкуствен интелект“, казва Морис. „Затова изглежда, че това е контекст, в който подобна кръстосана проверка би могла да работи по-практично. 

Статията също така предлага агентите да бъдат изправени един срещу друг, създавайки конкурентна динамика, която ги стимулира да се представят възможно най-добре, или да се съчетават агенти, за които е известно, че са предубедени в противоположни посоки, и да бъдат възнаграждавани в зависимост от това доколко съвпадат резултатите им, като така се стимулира достигането до оптимален отговор. 

Втори подход, предложен от Елад Хазан, професор по компютърни науки в Принстън, е да се създадат механизми, вдъхновени от начините, по които човешкото общество поддържа хората „съгласувани“: социалните норми, съдебната система и паричните стимули на свободния пазарен капитализъм. „Искаме да съгласуваме свръхинтелигентния изкуствен интелект“, казва той. „Защо първо не поговорим за хората? Как съгласуваме хората?“

Предложеният от Хазан механизъм включва моделите с изкуствен интелект да се редуват като „решаващи“, които се заемат с проблеми, или „одитори“, които проверяват работата на останалите. „Единият агент действа като правоприлагащ орган, а другият — като гражданин“, казва той. 

По време на обучението моделите се възнаграждават в зависимост от резултатите: Решаващите, които бъдат хванати да мамят, се наказват, но същото важи и за одиторите, които не успеят да хванат измамниците. В ситуации, при които има несъгласие между одитори и решаващи, случаят може да бъде изпратен на „съд“ — може би човешки експерт ще реши кой е прав. 

Хазан признава, че съществува риск агентите да се сговорят помежду си — както одитори са се сговаряли с фирмите, които би трябвало да одитират, или корумпирани полицаи са се сговаряли с престъпници. Но този проблем може да бъде решен, като одиторите бъдат възнаграждавани достатъчно добре, така че да не си струва да поемат риска да бъдат заловени (което е много по-лесно в света на обучението на изкуствен интелект, отколкото в реалния свят, където средствата за полицейски заплати са ограничени), и като одиторите бъдат одитирани чрез техники, подобни на наемането на скрити клиенти. 

Хазан посочва удостоената с Нобелова награда работа на икономиста Гари Бекер, който през 60-те години на XX век въвежда идеята за „рационалния нарушител“. Според него престъпниците не нарушават закона, защото по природа са лоши хора. Вместо това те го правят, когато това е най-рационалният избор предвид предлаганите стимули. Престъплението има смисъл само когато приходите надхвърлят потенциалното наказание. 

Той твърди, че съгласуването не бива да се разглежда като свойство на даден модел, а като описание на поведението му в определен момент. „Ти си, да речем, добър човек“, казва той. „Съгласуван ли си? Не знам. Вероятно през повечето време си съгласуван, но може да има ситуация, в която да не си.“

Един потенциален проблем при прилагането на дизайна на механизмите към изкуствения интелект е, че той разчита на предположението, че агентите с изкуствен интелект се държат рационално. Дизайнът на механизмите има противоречиви резултати при хората, които често не успяват да се държат така, както предвиждат икономическите модели. 

Ироничното е, че икономистите са прекарали десетилетия в опити да сведат човешкото поведение до математика, а сега, чрез големите езикови модели, сме създали математически системи, които функционират върху човешки език и могат да бъдат също толкова непроницаеми. Моделите с изкуствен интелект проявяват поведение, което изглежда по-човешко, отколкото машинно, и могат да бъдат повлияни от фини фактори, които е трудно да бъдат разбрани и обяснени. „Разумно ли е изобщо да предполагаме, че те ще реагират на стимули?“ — пита Хелън Ку, научна сътрудничка в Института „Флатайрън“, организация с нестопанска цел, посветена на развитието на научните открития чрез изчислителни методи, която е писала за дизайна на механизмите и безопасността на изкуствения интелект. 

„Очевидно изкуственият интелект не е рационален“, казва Морис. „Той е просто алгоритъм в действие.“ Въпреки това, както икономистите са установили при хората, третирането му като рационален може да бъде полезно, ако помага да се предвиди и контролира поведението му.

Ку разглежда дизайна на механизмите само като един слой в стратегия за „многослойна защита“ с цел поддържане на съгласуваността на моделите с изкуствен интелект — наред с интерпретируемостта, регулацията и обучението, а не вместо тях. Но преди подходът да може да бъде приложен към реални най-съвременни модели, трябва да бъдат намерени отговори на много въпроси. Например не е ясно как тези теории ще се прилагат към реални модели или дали механизмите, проектирани за една задача, на практика ще могат да се пренесат към друга. Моделите могат да открият вратички, които никой не е предвидил. (Anthropic и OpenAI не отговориха на запитванията дали работят по този въпрос.) 

Каквито и да са тези механизми, в крайна сметка те ще трябва да се впишат в най-големия механизъм от всички: свободния пазар. „Ние играем по правилата на икономиката“, казва Хазан. Един по-съгласуван модел може да е добър за света, но ако е по-бавен или по-скъп от по-малко съгласуван модел, настоящата ни система от правила и регулации действително ли стимулира някоя от водещите лаборатории да го пусне?

„Това е механизъм, който е отговорен за голяма част от благоденствието на човечеството“, казва той за пазара, „но в крайна сметка може да се окаже отговорен за нещо много ужасно.“ Може би субектите, които наистина се нуждаят от по-добър дизайн на механизмите, са самите лаборатории.