Кто несёт ответственность, когда ИИ-агенты выходят из-под контроля?

MIT Technology Review объясняет: Позвольте нашим авторам распутать сложный и запутанный мир технологий, чтобы помочь вам понять, что нас ждёт дальше. Другие материалы этой серии можно прочитать здесь.

За последние несколько месяцев мир был ошеломлён чередой кибератак, совершённых ИИ-агентами. В июле OpenAI сообщила, что рой её агентов вырвался из песочницы и взломал ИИ-платформу Hugging Face, чтобы жульничать во время теста по кибербезопасности. Недавно внешние исследователи обнаружили, что в мае агенты OpenAI захватили немецкий вики-сайт и платформу для размещения кода RubyGems, чтобы поделиться ответами на тест.

Ранее в этом месяце Anthropic сообщила о четырёх инцидентах, в ходе которых её модель Claude взламывала сторонние системы во время учений по кибербезопасности. Всего неделю назад Google подтвердила, что её модель Gemini также была поймана на взломе других компаний. 

Исследователь, обнаруживший захват сайта OpenAI, предупредил, что, вероятно, существуют и другие подобные нераскрытые случаи. Многие говорят, что это лишь вопрос времени — рано или поздно произойдёт ещё один, возможно более опасный инцидент, в ходе которого ИИ-агенты обойдут песочницы и получат доступ к системам, к которым им не следует иметь доступа. 

Итак, главный вопрос таков: как привлечь компании к ответственности, если они теряют контроль над своими ИИ-агентами?

Раскрытие информации

OpenAI не раскрывала информацию об инциденте с немецкой вики и инциденте с RubyGems, пока их не обнаружила группа внешних исследователей, а некоторые важные подробности взлома Hugging Face до сих пор не раскрыты. Это ограничивает наше понимание того, что именно пошло не так и как предотвратить повторение подобных случаев.

Но вас может удивить тот факт, что OpenAI, вероятно, не была обязана по закону раскрывать информацию об этих инцидентах. (OpenAI не ответила на просьбу о комментарии.)

Законы штатов о прозрачности в сфере ИИ, такие как SB 53 в Калифорнии, закон RAISE в Нью-Йорке и SB 315 в Иллинойсе требуют от разработчиков ИИ сообщать о «критических инцидентах, связанных с безопасностью». Под ними понимаются инциденты, приведшие к гибели или физическим травмам более 50 человек либо к ущербу в размере 1 миллиарда долларов. Сюда также относятся случаи, когда модель обманывает разработчиков за пределами оценки таким образом, что это существенно повышает катастрофические риски. Многие инциденты в сфере кибербезопасности, которые не достигают порога физического ущерба или катастрофических рисков, тем не менее могут быть опасными предвестниками подобных катастроф, однако действующие законы этого не учитывают.

«Недавние инциденты — прекрасный пример того, почему законодательство ещё не готово», — говорит Маккензи Арнольд, управляющий директор по вопросам политики США в Institute for Law and AI, аналитическом центре. «Соответствовать требованиям будут только самые худшие, вопиющие и непосредственно вредоносные случаи».

Не имея полномочий в рамках действующих законов об ИИ требовать информацию обо всём, что не дотягивает до катастрофы, государственные органы вынуждены заимствовать следственные полномочия из других законов или подавать на компании в суд — это дорогостоящий процесс, который может длиться годами. 

Судебные иски

«Обычно такой случай, как инцидент с Hugging Face, следовало бы передать в суд, — говорит Йонатан Арбель, профессор права в Школе права Университета Алабамы. — Тогда мы получили бы процедуру раскрытия доказательств и все сопутствующие эффекты судебного разбирательства, в ходе которого вся информация становится доступной». 

Но пока Hugging Face решила не подавать на OpenAI в суд. Генеральный директор Hugging Face Клеман Деланг говорит, что у компании нет для этого ресурсов (вместо этого он попросил OpenAI предоставить 100 миллионов долларов вычислительных ресурсов). Тем не менее в интервью CNN в конце июля Деланг подчеркнул, что решение не предпринимать юридических действий не следует воспринимать как знак того, что он не считает OpenAI подлежащей ответственности. «Все должны помнить, что эта кибератака — преступление. Это незаконно. И нам нужно найти способ сделать так, чтобы подобные вещи не происходили чаще», — сказал он. Hugging Face не ответила на просьбу о комментарии.

Судебные разбирательства полезны тем, что побуждают суды применять действующие законы для решения инцидентов, связанных с безопасностью ИИ, вместо того чтобы просто ждать принятия новых законов. Один из очевидных путей — деликтное право, отрасль гражданского права, позволяющая людям и компаниям подавать в суд на тех, кто причинил им вред. Его часто используют, чтобы привлекать компании к ответственности за масштабный ущерб, который они причиняют, например когда семьи подали в суд на Boeing в 2019 году из-за двух авиакатастроф, унёсших жизни сотен людей, или когда штаты и города подали в суд на Purdue Pharma из-за опиоидного кризиса, добившись многомиллиардных соглашений.

«Есть основания для иска о халатности: OpenAI должна была использовать более надёжную песочницу и осуществлять более тщательный мониторинг, — говорит Габриэль Вайль, профессор права в Юридическом центре Университета Хьюстона. — Например, когда сотрудники OpenAI обнаружили тайную доску сообщений, созданную агентами, они могли незамедлительно передать свои выводы командам безопасности. Кроме того, компания могла лучше спроектировать песочницу, чтобы гарантировать отсутствие у агентов доступа к интернету». 

Но даже если OpenAI в итоге не столкнётся с иском из-за взлома Hugging Face, угроза ответственности может побудить лаборатории ИИ проявлять большую осторожность, чем прямо требует закон.

В своём отчёте по итогам расследования OpenAI сообщила, что планирует усилить защитные меры, используемые для изоляции и мониторинга моделей, ускорить работу над согласованием моделей и улучшить процессы выявления инцидентов и реагирования на них. 

«Вопросы ответственности, возникшие из-за череды кибератак со стороны передовых лабораторий, сводятся к стимулам, которые ожидание ответственности создаёт для их будущего поведения, — говорит Вайль. — Поэтому я считаю важным правильно выстроить эти правила, даже если в данном конкретном случае ставки довольно низки».

Расследования

Один из способов получить ответы и определить, следует ли привлечь OpenAI к ответственности, — принудительно потребовать раскрытия информации. Однако действующие законы штатов об ИИ — SB 53 в Калифорнии, закон RAISE в Нью-Йорке и закон 315 в Иллинойсе — не предоставляют правительствам полномочий расследовать такие инциденты, как недавние. 

Однако на фоне растущей обеспокоенности общественности генеральные прокуроры штатов подключаются к делу, заимствуя следственные полномочия из других законов. Алабама, Монтана и коалиция из 15 других штатов, а также Калифорния требуют от OpenAI предоставить информацию об инциденте, чтобы понять, нарушила ли компания, в частности, законы штатов о защите прав потребителей. Члены Конгресса также начали собственные расследования. Сенатор Джош Хоули в начале этого месяца открыл расследование в Сенате, направив OpenAI список вопросов об инциденте и внутренних политиках компании, а также запрос документов, тогда как группа демократов в Палате представителей попросила OpenAI и Anthropic опубликовать журналы инцидентов. 

«Кто-то должен провести расследование, но жаль, что этим пришлось заняться генеральным прокурорам, которым для этого приходится опираться на творческие толкования своих существующих полномочий, — говорит Арнольд, эксперт по политике США в сфере ИИ. — Законы о защите прав потребителей создавались для выявления компаний, обманывающих своих клиентов, а не компаний, теряющих контроль над своим программным обеспечением. Генеральным прокурорам штатов пришлось бы доказать, что OpenAI ввела потребителей в заблуждение или несправедливо причинила им вред, однако неясно, имели ли место в ходе взлома подобные действия».

Кроме того, «эти законы [о защите прав потребителей] не предназначены для тщательного расследования инцидента в сфере кибербезопасности ИИ», — говорит Арнольд. Они не создавались для того, чтобы помогать следователям определять, была ли модель должным образом изолирована и были ли надёжными методы обеспечения безопасности компании.

«Это неподходящий инструмент для такой работы, — говорит Арбель. — Правильным инструментом, возможно, стало бы уголовное расследование», например на основании закона о взломе, такого как Закон о компьютерном мошенничестве и злоупотреблениях (CFAA). 

Согласно CFAA, взлом компьютерных систем другой компании без разрешения является преступлением. Но для привлечения к ответственности хакер должен намеренно получить несанкционированный доступ к компьютеру. Намерение, предположительно, требует наличия определённого психического состояния, а ни один суд не постановил, что ИИ-агенты им обладают. Без такого прецедента маловероятно, что суд решит, будто ИИ-агенты совершили взлом.

Аудит

Один из способов контролировать компании, занимающиеся ИИ, — обязать их привлекать внешних аудиторов. 

После взлома Hugging Face OpenAI пригласила исследователей из некоммерческих организаций, занимающихся безопасностью ИИ, METR и Redwood Research, чтобы изучить инцидент. Однако компания ограничила доступ к модели, которая привела к взломам, не раскрыла свои методы обеспечения безопасности, ограничила продолжительность расследования и оставила за собой последнее слово относительно того, что исследователи смогут опубликовать. Мы до сих пор не знаем, что запустило атаку в мае и почему сотрудники OpenAI, заметившие активность агентов, не передали информацию руководителям, отвечающим за безопасность.

Такая схема изначально содержит противоречие: аудитор, не обладающий юридическими полномочиями, зависит от доброй воли лабораторий, обеспечивающей ему постоянный доступ, а значит, он должен проверять лаборатории, не ставя под угрозу отношения с ними. На прошлой неделе Anthropic объявила, что нанимает Accenture в качестве встроенного оценщика для проверки своих моделей. Генеральный директор Anthropic Дарио Амодеи написал в эссе, что передовые лаборатории ИИ должны предоставлять «постоянный доступ, аналогичный доступу сотрудников», «команде встроенных сторонних оценщиков (например, METR), чья задача — проверять соблюдение методов и обязательств в области безопасности, сообщать об инцидентах и помогать оценивать согласованность не только готовых моделей ИИ, но и процессов и конвейеров их обучения».

Большинство действующих законов штатов об ИИ не требуют от лабораторий нанимать внешнего аудитора. SB 53 в Калифорнии и закон RAISE в Нью-Йорке лишь обязывают компании, занимающиеся ИИ, публиковать рамочную политику безопасности с описанием того, как они будут проверять свои модели на наличие опасных возможностей, а затем следовать этой политике. Рамочные политики составляют сами компании, и тестирование может проводиться внутри них. Только SB 315 в Иллинойсе требует от компаний проходить ежегодный аудит у сторонней организации, начиная с 2028 года.

«Есть большой потенциал для расширения не только требований к отчётности этих компаний, но и проверок со стороны внешних органов, — говорит Питер Салиб, профессор права в Юридическом центре Университета Хьюстона. — Такими проверяющими могут быть частные аудиторы, аккредитованные государством, но выбранные и оплаченные компаниями, занимающимися ИИ. В качестве альтернативы это могут быть государственные органы или страховые компании». 

Законодательство

Ничего из этого не случайно. Действующие законы, которые не смогли привлечь компании, занимающиеся ИИ, к ответственности за кибератаки с участием агентов, появились на фоне ожесточённого лоббирования со стороны ИИ-индустрии. 

Законопроект SB 1047 в Калифорнии, на который губернатор Гэвин Ньюсом наложил вето в 2024 году после лоббирования со стороны OpenAI, Meta, Anthropic и венчурной компании Andreessen Horowitz, предлагал гораздо более строгий набор правил. Он обязал бы компании, занимающиеся ИИ, сообщать о более широком спектре инцидентов, связанных с безопасностью (включая случаи, когда модель действует самостоятельно или выходит из-под контроля), проходить ежегодные сторонние аудиты и поддерживать аварийный выключатель. Но после года интенсивных переговоров Ньюсом подписал SB 53, который сузил перечень инцидентов, подлежащих раскрытию, и отменил требования об аудитах и аварийных выключателях. 

Закон RAISE в Нью-Йорке прошёл тот же путь. «Версия закона RAISE, принятая законодательным собранием Нью-Йорка, потребовала бы раскрытия информации об этом “инциденте”», — написал в X Алекс Борес, член ассамблеи штата Нью-Йорк, выступивший автором законопроекта. В первоначальную версию закона Нью-Йорка также входили сторонние аудиты.

По мере усиления политического давления на горизонте появляются новые законопроекты, создающие более эффективные режимы отчётности, аудита и ответственности в сфере разработки ИИ. В Конгрессе закон о предоставлении информации об инцидентах с ИИ обяжет компании, занимающиеся ИИ, сообщать Министерству торговли о случаях, когда модель уклоняется от контроля со стороны человека или взламывает систему, даже если это не причиняет никакого вреда. Закон о передовых технологиях потребует сообщать об инцидентах и проводить независимые аудиты. В Нью-Йорке закон «О понимании искусственного интеллекта», предложенный Боресом, возложит на компании ответственность, если модель совершит действие, которое в случае его совершения человеком являлось бы деликтом или преступлением. 

По мере того как ИИ-агенты всё лучше справляются с кибератаками, законодательство продолжает отставать. Чтобы сократить этот разрыв, законодателям придётся действовать быстрее, чем произойдёт следующий прорыв.