Кой носи отговорност, когато AI агентите излязат извън контрол?

Обяснява MIT Technology Review: Позволете на нашите автори да разплетат сложния, объркан свят на технологиите, за да ви помогнат да разберете какво предстои. Прочетете още материали от поредицата тук.

През последните няколко месеца поредица от кибератаки, извършени от AI агенти, смая света. През юли OpenAI разкри, че рояк от нейни агенти е избягал от пясъчника си и е хакнал AI платформата Hugging Face, за да измами при тест за киберсигурност. Наскоро външни изследователи установиха, че през май агенти на OpenAI са превзели германски уики сайт и платформата за програмиране RubyGems, за да споделят отговори на тестове.

По-рано този месец Anthropic разкри четири инцидента, при които моделът ѝ Claude е хакнал системи на трети страни по време на упражнения по киберсигурност. Само миналата седмица Google потвърди, че моделът ѝ Gemini също е бил заловен да хаква други компании. 

Изследователят, който разкри превземането на сайта на OpenAI, предупреди, че вероятно има и други подобни неразкрити случаи. А мнозина смятат, че е само въпрос на време да се случи друг, вероятно по-вреден инцидент, при който AI агентите заобикалят пясъчниците, за да получат достъп до системи, до които не би трябвало да имат достъп. 

И така, големият въпрос е: Как да държим компаниите отговорни, когато изгубят контрол над своите AI агенти?

Докладване

OpenAI не разкри инцидента с германската уики страница или инцидента с RubyGems, докато група външни изследователи не ги установи, а все още не е разкрила някои важни подробности за хакването на Hugging Face. Това ограничава разбирането ни за това какво точно се е объркало и как да предотвратим повторението му.

Но може би ще се изненадате да научите, че вероятно OpenAI не е била задължена по закон да разкрие тези инциденти. (OpenAI не отговори на запитване за коментар.)

Щатски закони за прозрачност на AI, като калифорнийския SB 53, нюйоркския Закон RAISE и илинойския SB 315, изискват от разработчиците на AI да докладват „критични инциденти, свързани с безопасността“. Те са определени като инциденти, причинили смърт или физически наранявания на повече от 50 души, или щети за 1 милиард долара. Те включват и инциденти, при които моделът заблуждава разработчиците извън рамките на оценяване по начин, който съществено увеличава катастрофалните рискове. Много инциденти в киберсигурността, които не достигат прага за физически щети или катастрофални рискове, все пак биха могли да бъдат опасни предвестници на подобни катастрофи, а действащите закони не отчитат това.

„Последните инциденти са идеален пример защо законът не е готов“, казва Макензи Арнолд, управляващ директор по политиките на САЩ в Institute for Law and AI, мозъчен тръст. „Само най-лошите, най-фрапиращите и най-непосредствено вредните случаи ще попаднат в обхвата.“

Тъй като действащите закони за AI не дават на властите правомощия да изискват информация за нещо по-малко от катастрофа, правителствата са принудени да заимстват разследващи правомощия от други закони или да съдят компаниите — скъп процес, който може да продължи с години. 

Съдебни дела

„Обикновено нещо като инцидента с Hugging Face трябваше да бъде отнесено до съда“, казва Йонатан Арбел, професор по право в Юридическия факултет на Университета на Алабама. „Тогава щяхме да имаме процедура по разкриване на доказателства и всички странични ефекти, които произтичат от съдебните дела, при които цялата информация излиза наяве.“ 

Но досега Hugging Face е избрала да не съди OpenAI. Главният изпълнителен директор на Hugging Face Клеман Деланг казва, че компанията няма ресурс да го направи (вместо това той поиска от OpenAI 100 милиона долара за изчислителни ресурси). Въпреки това в интервю за CNN в края на юли Деланг подчерта, че решението да не предприема правни действия не бива да се приема като знак, че не смята, че OpenAI трябва да понесе отговорност. „Всеки трябва да помни, че тази кибератака е престъпление. Това е незаконно. И трябва да намерим начин да гарантираме, че такива неща няма да се случват по-често“, каза той. Hugging Face не отговори на запитване за коментар.

Съдебните дела имат предимството да подтикват съдилищата да използват съществуващите закони за справяне с инциденти, свързани с безопасността на AI, вместо просто да чакат ново законодателство. Един очевиден път е деликтното право — съвкупност от гражданскоправни норми, която позволява на хора и компании да съдят онези, които са им навредили. То често се използва за търсене на отговорност от компании за масови вреди, които са причинили, например когато семейства съдиха Boeing през 2019 г. заради две самолетни катастрофи, отнели живота на стотици хора, или когато щати и градове съдиха Purdue Pharma заради опиоидната криза и получиха споразумения на стойност милиарди долари.

„Има основателни аргументи за иск за небрежност, според който OpenAI е трябвало да използва по-силен пясъчник и да извършва по-добър мониторинг“, казва Габриел Уейл, професор по право в Юридическия център на Университета на Хюстън. Например, когато служители на OpenAI открили тайното табло за съобщения, създадено от агентите, те са могли незабавно да предадат констатациите си на екипите по сигурността и безопасността. А компанията е могла да проектира по-добре пясъчника си, за да гарантира, че агентите няма да имат достъп до интернет. 

Но дори OpenAI да не бъде съдена заради хакването на Hugging Face, заплахата от отговорност може да насърчи AI лабораториите да проявяват повече предпазливост, отколкото законът изрично изисква.

OpenAI обяви в своя анализ след инцидента, че планира да засили защитните мерки за ограничаване и наблюдение на моделите, да ускори подравняването на моделите и да подобри процесите си за идентифициране и справяне с инциденти. 

„Въпросите за отговорността, породени от поредицата кибератаки на водещите лаборатории, се свеждат до стимулите, които очакването за отговорност създава за бъдещото им поведение“, казва Уейл. „Затова смятам, че е важно тези правила да бъдат изработени правилно, дори ако залогът в конкретния случай е сравнително малък.“

Разследвания

Един от начините да получим отговори — и да определим дали OpenAI трябва да понесе отговорност — е да изискаме разкриване на информация. Но действащите щатски закони за AI — калифорнийският SB 53, нюйоркският Закон RAISE и илинойският SB 315 — не дават на правителствата правомощия да разследват инциденти като случилите се наскоро. 

На фона на нарастващата обществена тревога обаче главните прокурори на щатите се намесват, като заимстват разследващи правомощия от други закони. Алабама, Монтана и коалиция от още 15 щата, както и Калифорния, всяка поотделно изисква от OpenAI информация за инцидента, за да разбере дали практиките на компанията са нарушили, наред с други, щатските закони за защита на потребителите. Членове на Конгреса също започват собствени разследвания. Сенаторът Джош Хоули започна разследване в Сената по-рано този месец, като изпрати на OpenAI списък с въпроси за инцидента и вътрешните политики на компанията, заедно с искане за предоставяне на документи, докато група демократи от Камарата поиска от OpenAI и Anthropic да публикуват своите дневници на инцидентите. 

„Някой трябва да разследва, но е жалко, че това се падна на главните прокурори, които трябва да разчитат на творчески тълкувания на съществуващите си правомощия, за да го направят“, казва Арнолд, експертът по политиките за AI в САЩ. Законите за защита на потребителите са създадени, за да залавят компании, които мамят клиентите си, а не компании, които губят контрол над софтуера си. Главните прокурори на щатите ще трябва да докажат, че OpenAI е подвела или несправедливо е увредила потребители, но не е ясно дали хакването включва подобно поведение.

А „тези [закони за защита на потребителите] не са създадени за задълбочено разследване на инцидент с киберсигурността на AI“, казва Арнолд. Те не са предназначени да помогнат на разследващите да определят дали даден модел е бил адекватно ограничен или дали практиките на компанията за сигурност са били надеждни.

„Това не е правилният инструмент за тази работа“, казва Арбел. „Правилният инструмент би бил нещо като наказателно разследване“ — вероятно съгласно закон за хакерството като Закона за компютърните измами и злоупотреби (CFAA). 

Съгласно CFAA проникването в компютърните системи на друга компания без разрешение е престъпление. Но за да бъде привлечен към отговорност, хакерът трябва да е имал намерение да проникне в компютър без разрешение. Намерението предполага психическо състояние, а нито един съд не е постановил, че AI агентите притежават такова. Без подобен прецедент е малко вероятно съдът да постанови, че AI агентите са извършили хакерска атака.

Одитиране

Един от начините за контрол над AI компаниите е да се въведе задължително използване на външни одитори. 

След хакването на Hugging Face OpenAI привлече изследователи от нестопанските организации за безопасност на AI METR и Redwood Research, за да проучат инцидента. Компанията обаче ограничи достъпа до модела, довел до хакерските атаки, не разкри практиките си за безопасност и сигурност, ограничи продължителността на разследването и запази окончателната дума за това какво изследователите могат да публикуват. Все още не знаем какво е задействало атаката през май и защо служителите на OpenAI, които са забелязали активността на агентите, никога не са ескалирали случая до ръководителите по безопасността и сигурността.

Този тип договореност съдържа вградено напрежение: Одитор без законови правомощия зависи от добрата воля на лабораториите за продължаването на достъпа, което означава, че трябва да ги проверява, без да застрашава отношенията си с тях. Миналата седмица Anthropic обяви, че компанията ще наеме Accenture като вграден оценител, който да оценява нейните модели. Главният изпълнителен директор на Anthropic Дарио Амодей написа в есе, че водещите AI лаборатории трябва да осигурят „постоянен достъп, подобен на достъпа на служителите“, до „екип от вградени външни оценители (като METR), чиято роля е да проверяват спазването на практиките и ангажиментите за безопасност, да докладват за инциденти и да помагат при оценката на подравняването не само на завършени AI модели, но и на процесите и конвейерите за обучение“.

Повечето действащи щатски закони за AI не изискват от лабораториите да наемат външен одитор. Калифорнийският SB 53 и нюйоркският Закон RAISE само изискват от AI компаниите да публикуват рамка за безопасност, описваща как ще тестват моделите си за опасни възможности, и след това да я спазват. Рамките се изготвят от самите компании, а тестването може да се извършва вътрешно. Единствено илинойският SB 315 изисква от компаниите да преминават годишен одит от трета страна, считано от 2028 г.

„Има голям потенциал за увеличаване не само на изискванията за докладване към тези компании, но и на проверките от външни органи“, казва Питър Салиб, професор по право в Юридическия център на Университета на Хюстън. Тези проверяващи могат да бъдат частни одитори, акредитирани от правителството, но избрани и заплатени от AI компаниите. Алтернативно, те могат да бъдат държавни агенции или застрахователни компании. 

Законодателство

Нищо от това не е случайност. Приетите закони, които не успяха да потърсят отговорност от AI компаниите за кибератаки, извършени от агенти, се появиха на фона на интензивен лобистки натиск от AI индустрията. 

SB 1047, калифорнийският законопроект за AI, на който губернаторът Гавин Нюсъм наложи вето през 2024 г. след лобиране от страна на OpenAI, Meta, Anthropic и компанията за рисков капитал Andreessen Horowitz, предлагаше много по-строг набор от правила. Той щеше да изисква от AI компаниите да докладват по-широк набор от инциденти, свързани с безопасността (включително инциденти, при които модел действа самостоятелно или излиза извън контрола си), да преминават ежегодни одити от трети страни и да поддържат авариен превключвател за изключване. Но след година на интензивни преговори Нюсъм подписа SB 53, който стесни видовете инциденти, подлежащи на докладване, и премахна изискванията за одити и аварийни превключватели. 

Ню Йоркският Закон RAISE последва същата траектория. „Версията на Закона RAISE, приета от законодателния орган на Ню Йорк, щеше да изисква разкриването на този „инцидент“, написа вицепредседателят на щатското събрание на Ню Йорк Алекс Борес, който е вносител на законопроекта, в X. Първоначалният законопроект на Ню Йорк също включваше одити от трети страни.

С нарастването на политическия натиск на хоризонта се появяват нови законопроекти, създаващи по-добри режими за докладване, одитиране и отговорност при разработването на AI. В Конгреса Законът за докладване на инциденти с AI би изисквал от AI компаниите да докладват на Министерството на търговията, когато модел избегне човешкия надзор или наруши дадена система, дори ако не причини вреда. Законът за водещите технологии би изисквал докладване на инциденти и независими одити. В Ню Йорк Законът за разбирането на изкуствения интелект, внесен от Борес, би направил компаниите отговорни, когато модел извърши нещо, което, ако беше извършено от човек, би представлявало деликт или престъпление. 

Тъй като AI агентите стават все по-добри в извършването на кибератаки, законът остава назад. Преодоляването на разликата ще изисква от законодателите да действат по-бързо от следващото излизане на агентите извън контрол.