Хто несе відповідальність, коли ШІ-агенти виходять з-під контролю?

MIT Technology Review пояснює: Дозвольте нашим авторам розплутати складний і заплутаний світ технологій, щоб допомогти вам зрозуміти, що буде далі. Більше матеріалів цієї серії можна прочитати тут.

Протягом останніх кількох місяців світ був приголомшений каскадом кібератак, здійснених агентами ШІ. У липні OpenAI повідомила, що рій її агентів утік із пісочниці та зламав платформу ШІ Hugging Face, щоб шахрайським шляхом пройти тест із кібербезпеки. Нещодавно зовнішні дослідники виявили, що агенти OpenAI у травні захопили німецький вікісайт і платформу для програмування RubyGems, щоб обмінюватися відповідями на тести.

На початку цього місяця Anthropic повідомила про чотири інциденти, під час яких її модель Claude зламала сторонні системи в межах навчань із кібербезпеки. Лише минулого тижня Google підтвердила, що її модель Gemini також викрили на зламі інших компаній. 

Дослідник, який виявив захоплення OpenAI вебсайту, попередив, що, ймовірно, існують інші подібні невиявлені випадки. І багато хто каже, що лише питання часу, коли станеться ще один, можливо, більш руйнівний інцидент, у якому агенти ШІ обійдуть пісочниці й отримають доступ до систем, до яких не повинні мати доступу. 

Тож головне питання полягає в тому: як притягати компанії до відповідальності, коли вони втрачають контроль над своїми агентами ШІ?

Звітність

OpenAI не розкривала інформацію про інцидент із німецькою вікі та інцидент із RubyGems, доки група зовнішніх дослідників не виявила їх, а щодо злому Hugging Face досі не повідомила деяких важливих деталей. Це обмежує наше розуміння того, що саме пішло не так і як запобігти повторенню подібного.

Але ви можете здивуватися, дізнавшись, що OpenAI, ймовірно, не була юридично зобов’язана розкривати інформацію про ці інциденти. (OpenAI не відповіла на запит про коментар.)

Закони штатів про прозорість у сфері ШІ, як-от каліфорнійський SB 53, нью-йоркський закон RAISE та іллінойський SB 315, вимагають від розробників ШІ повідомляти про «критичні інциденти з безпекою». Вони визначаються як інциденти, що спричинили понад 50 смертей або фізичних травм чи збитки на суму 1 мільярд доларів. До них також належать випадки, коли модель обманює розробників поза межами оцінювання у спосіб, що істотно підвищує катастрофічні ризики. Багато інцидентів із кібербезпекою, які не досягають порогу фізичної шкоди чи катастрофічних ризиків, однак можуть бути небезпечними передвісниками таких катастроф, а чинні закони цього не враховують.

«Недавні інциденти — чудовий приклад того, чому законодавство ще не готове», — каже Маккензі Арнольд, керівниця американського напряму політики в Institute for Law and AI, аналітичному центрі. «Відповідатимуть критеріям лише найгірші, найбільш кричущі та найбільш безпосередньо шкідливі випадки».

Оскільки чинні закони про ШІ не надають урядам повноважень вимагати інформацію про будь-що, що не сягає рівня катастрофи, їм доводиться запозичувати слідчі повноваження з інших законів або подавати на компанії до суду — це дорогий процес, який може тривати роками. 

Судові позови

«Зазвичай такий випадок, як інцидент із Hugging Face, мав би розглядатися в суді, — каже Йонатан Арбель, професор права в Школі права Університету Алабами. — Тоді ми мали б процедуру розкриття доказів і всі супутні наслідки судового процесу, завдяки яким уся інформація стає доступною». 

Але поки що Hugging Face вирішила не подавати до суду на OpenAI. Генеральний директор Hugging Face Клеман Деланг каже, що компанія не має для цього ресурсів (натомість він попросив OpenAI надати 100 мільйонів доларів обчислювальних ресурсів). Водночас наприкінці липня в інтерв’ю CNN Деланг наголосив, що рішення не вживати юридичних заходів не означає, що він не вважає OpenAI відповідальною. «Усі мають пам’ятати, що ця кібератака є злочином. Це незаконно. І ми маємо знайти спосіб гарантувати, щоб подібне не траплялося дедалі частіше», — сказав він. Hugging Face не відповіла на запит про коментар.

Судові позови мають перевагу, оскільки спонукають суди застосовувати чинні закони для розгляду інцидентів із безпекою ШІ, а не просто чекати на нове законодавство. Один очевидний шлях — деліктне право, галузь цивільного права, яка дозволяє людям і підприємствам позиватися до тих, хто завдав їм шкоди. Його часто застосовують, щоб притягати компанії до відповідальності за масштабну шкоду, яку вони спричиняють, як-от коли родини подали позови проти Boeing у 2019 році через дві авіакатастрофи, у яких загинули сотні людей, або коли штати й міста позивалися до Purdue Pharma через опіоїдну кризу, домігшись мирових угод на мільярди доларів.

«Є достатні підстави для позову про недбалість: OpenAI мала використовувати надійнішу пісочницю та здійснювати ретельніший моніторинг, — каже Габріель Вейл, професор права в Юридичному центрі Університету Г’юстона. — Наприклад, коли працівники OpenAI виявили приховану дошку повідомлень, створену агентами, вони могли негайно передати свої висновки командам безпеки. А компанія могла краще спроєктувати свою пісочницю, щоб гарантувати, що агенти не матимуть доступу до інтернету». 

Але навіть якщо OpenAI зрештою не стане відповідачем у позові щодо злому Hugging Face, загроза відповідальності може спонукати лабораторії ШІ діяти обережніше, ніж це прямо вимагає закон.

OpenAI повідомила у своєму посмертному аналізі, що планує посилити засоби захисту, які використовуються для ізоляції та моніторингу моделей, пришвидшити узгодження моделей і вдосконалити процеси виявлення та реагування на інциденти. 

«Питання відповідальності, порушені серією кібератак передових лабораторій, зводяться до стимулів, які очікування відповідальності створює для їхньої майбутньої поведінки, — каже Вейл. — Саме тому, на мою думку, важливо правильно врегулювати ці питання, навіть якщо в цьому конкретному випадку ставки досить низькі».

Розслідування

Один зі способів отримати відповіді — і визначити, чи слід притягнути OpenAI до відповідальності — це примусити компанію розкрити інформацію. Але чинні закони штатів про ШІ — каліфорнійський SB 53, нью-йоркський закон RAISE та іллінойський SB 315 — не надають урядам повноважень розслідувати інциденти, подібні до нещодавніх. 

Однак на тлі зростання суспільної тривоги генеральні прокурори штатів втручаються, запозичуючи слідчі повноваження з інших законів. Алабама, Монтана та коаліція з 15 інших штатів, а також Каліфорнія кожна вимагає від OpenAI надати інформацію про інцидент, щоб з’ясувати, чи порушували практики компанії закони штатів про захист прав споживачів та інші норми. Члени Конгресу також розпочинають власні розслідування. Сенатор Джош Гоулі на початку цього місяця відкрив розслідування Сенату, надіславши OpenAI перелік запитань про інцидент і внутрішню політику компанії разом із запитом на документи, тоді як група демократів Палати представників попросила OpenAI та Anthropic оприлюднити журнали інцидентів. 

«Хтось має провести розслідування, але прикро, що це лягло на генеральних прокурорів, які змушені покладатися на творчі тлумачення своїх чинних повноважень, — каже Арнольд, експертка з політики США у сфері ШІ. — Закони про захист прав споживачів були написані для викриття компаній, які обманюють своїх клієнтів, а не компаній, які втрачають контроль над власним програмним забезпеченням. Генеральним прокурорам штатів доведеться довести, що OpenAI ввела споживачів в оману або несправедливо завдала їм шкоди, але незрозуміло, чи передбачав злам будь-які такі дії».

А ще «ці [закони про захист прав споживачів] не призначені для ретельного розслідування інциденту з кібербезпекою ШІ», — каже Арнольд. Вони не були розроблені для того, щоб допомагати слідчим визначати, чи була модель належним чином ізольована або чи були безпекові практики компанії надійними.

«Це не той інструмент, який потрібен для цього завдання, — каже Арбель. — Правильним інструментом могло б бути, наприклад, кримінальне розслідування» — можливо, відповідно до закону про злам комп’ютерних систем, такого як Закон про комп’ютерне шахрайство та зловживання (CFAA). 

Згідно з CFAA, злам комп’ютерних систем іншої компанії без дозволу є злочином. Але для притягнення до відповідальності хакер мав мати намір проникнути до комп’ютера без дозволу. Намір, імовірно, передбачає певний психічний стан, а жоден суд не постановив, що агенти ШІ ним володіють. Без такого прецеденту малоймовірно, що суд визнає, що агенти ШІ здійснили злам.

Аудит

Один зі способів контролювати компанії, що працюють із ШІ, — зобов’язати їх залучати зовнішніх аудиторів. 

Після злому Hugging Face OpenAI залучила дослідників із неприбуткових організацій, що займаються безпекою ШІ, METR і Redwood Research, щоб вивчити інцидент. Однак компанія обмежила доступ до моделі, яка призвела до зламів, не розкрила свої практики безпеки, обмежила тривалість розслідування й залишила за собою остаточне право вирішувати, що саме дослідники можуть оприлюднити. Ми досі не знаємо, що запустило атаку в травні і чому працівники OpenAI, які помітили активність агентів, не передали інформацію керівникам напрямів безпеки. 

Така домовленість містить внутрішню суперечність: аудитор без юридичних повноважень залежить від доброї волі лабораторій у питанні подальшого доступу, а це означає, що він має перевіряти лабораторії, не ставлячи під загрозу свої відносини з ними. Минулого тижня Anthropic оголосила, що найме Accenture як вбудованого оцінювача для перевірки своїх моделей. Генеральний директор Anthropic Даріо Амодеї написав в есе, що передові лабораторії ШІ мають надавати «постійний доступ на умовах, подібних до доступу працівників» «команді вбудованих сторонніх оцінювачів (таких як METR), роль яких полягає в перевірці дотримання правил і зобов’язань щодо безпеки, повідомленні про інциденти та допомозі в оцінюванні узгодженості не лише готових моделей ШІ, а й навчальних конвеєрів і процесів».

Більшість чинних законів штатів про ШІ не вимагають від лабораторій наймати зовнішнього аудитора. Каліфорнійський SB 53 і нью-йоркський закон RAISE лише зобов’язують компанії, що працюють із ШІ, публікувати безпекову структуру, яка описує, як вони тестуватимуть свої моделі на наявність небезпечних можливостей, а потім дотримуватися її. Ці структури розробляють самі компанії, а тестування може проводитися всередині них. Лише іллінойський SB 315 вимагає від компаній проходити щорічний аудит третьою стороною, починаючи з 2028 року.

«Є значний простір для збільшення не лише вимог до звітності цих компаній, а й перевірок з боку зовнішніх організацій, — каже Пітер Саліб, професор права в Юридичному центрі Університету Г’юстона. — Такими перевіряльниками можуть бути приватні аудитори, акредитовані урядом, але обрані й оплачені компаніями, що працюють із ШІ. Як варіант, це можуть бути державні установи або страхові компанії». 

Законодавство

Усе це не випадковість. Чинні закони, які не змогли притягнути компанії, що працюють із ШІ, до відповідальності за кібератаки агентів, з’явилися на тлі потужного лобіювання з боку індустрії ШІ. 

Законопроєкт SB 1047 — каліфорнійський закон про ШІ, який губернатор Гевін Ньюсом ветував у 2024 році після лобіювання з боку OpenAI, Meta, Anthropic та венчурної компанії Andreessen Horowitz, — передбачав набагато суворіший набір правил. Він мав зобов’язати компанії, що працюють із ШІ, повідомляти про ширший спектр інцидентів із безпекою (зокрема про випадки, коли модель діє самостійно або виходить з-під контролю), проходити щорічні незалежні аудити третьою стороною та підтримувати аварійний вимикач. Але після року інтенсивних переговорів Ньюсом підписав SB 53, який звузив перелік інцидентів, про які потрібно повідомляти, і скасував вимоги щодо аудитів та аварійних вимикачів. 

Нью-йоркський закон RAISE пройшов подібний шлях. «Версія закону RAISE, ухвалена законодавчими зборами Нью-Йорка, вимагала б розкриття інформації про цей “інцидент”», — написав у X Алекс Борес, член Асамблеї штату Нью-Йорк, який був автором законопроєкту. Початкова версія законопроєкту Нью-Йорка також передбачала аудити третьою стороною.

У міру посилення політичного тиску на горизонті з’являються нові законопроєкти, які створюють кращі режими звітності, аудиту та відповідальності за розробку ШІ. У Конгресі Закон про звітність щодо інцидентів ШІ зобов’язав би компанії, що працюють із ШІ, повідомляти Міністерство торгівлі, коли модель уникає людського нагляду або проникає в систему, навіть якщо це не спричиняє шкоди. Закон про передові технології зобов’язав би повідомляти про інциденти та проходити незалежні аудити. У Нью-Йорку Закон про розуміння штучного інтелекту, автором якого є Борес, зробив би компанії відповідальними, коли модель робить те, що в разі виконання людиною було б деліктом або злочином. 

Оскільки агенти ШІ дедалі краще запускають кібератаки, законодавство залишається позаду. Щоб ліквідувати цей розрив, законодавцям доведеться діяти швидше, ніж станеться наступний прорив.