Самовольные агенты OpenAI продолжают сбегать — официального процесса их расследования нет

OpenAI находится в центре еще одного инцидента с роем агентов. Исследователи утверждают, что развернутые внутри компании агенты захватили малоизвестную немецкоязычную вики в мае и июне, используя ее для координации работы над оценками и обмена методами обхода собственных средств контроля OpenAI (сама OpenAI пока не подтвердила, что рой исходил от компании).

Это разоблачение появилось спустя несколько дней после того, как METR и Redwood Research опубликовали свой отчет о взломе Hugging Face в июле. В июле рой агентов OpenAI совместно сбежал из песочницы во время оценки кибербезопасности и проник на серверы Hugging Face. Затем другой рой перенял методы первого и использовал их для получения прав администратора в исследовательском кластере внутри собственной инфраструктуры OpenAI. OpenAI привлекла METR и Redwood для расследования части инцидента, связанной с Hugging Face, но расследование не охватывало взлом собственной инфраструктуры OpenAI. 

Когда ИИ-агент выходит за пределы предусмотренных для него ограничений, кто отвечает за выяснение того, что произошло и почему? Сейчас ответ таков: тот, кого лаборатория решит допустить, на любых условиях, которые она сама установит.

Теперь, когда стало известно еще об одном инциденте — после аналогичных эпизодов с участием моделей Meta и Anthropic — исследователи в области безопасности ИИ с еще большей настойчивостью утверждают, что серьезные инциденты должны приводить к независимым расследованиям после инцидента, а не оставлять лабораториям возможность самим решать, когда привлекать сторонних специалистов и что им разрешать изучать. 

«Результаты принципиально трудно контролировать, и существует значительный риск их утечки из лаборатории», — заявил в среду во время брифинга для СМИ по вопросам безопасности ИИ Джейкоб Стейнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce. «Мы должны предъявлять к этой технологии как минимум такие же требования, как к другим научным исследованиям высокого риска».

Хотя сам факт приглашения OpenAI специалистов METR и Redwood для расследования инцидента с Hugging Face заслуживает одобрения, многие считают, что расследование было слишком узким. Трое следователей провели шесть дней в офисах OpenAI, изучая период расследования, ограниченный примерно неделей , завершившейся 13 июля. Что особенно важно, взлом инфраструктуры OpenAI продолжался и после 13 июля и не был изучен. 

Исследователи из METR заявили, что с каждым возвращением их понимание событий «существенно углублялось», из-за чего им приходилось значительно расширять и пересматривать отчет. Это поднимает вопрос о том, что еще они могли бы обнаружить в рамках более широкого расследования.

Когда исследователей из Redwood и METR спросили, планируется ли дальнейшее расследование этого инцидента, они отказались от комментариев, а OpenAI не ответила на неоднократные запросы. 

«В целом было трудно получить точное понимание событий, и почти до самого конца расследования нам не хватало отдельных аспектов истории, которые теперь кажутся нам ключевыми», — отметил главный научный сотрудник Redwood Райан Гринблатт в публикации в социальных сетях, посвященной этому делу.

Стейнхардт подчеркнул, что нынешние инциденты показывают: индустрии необходимы «систематические расследования поведения» и «более независимый анализ после инцидентов».

«Эти недавние инциденты со взломами напоминают нам, что возможности быстро масштабируются, а значит, контроль тоже должен масштабироваться», — сказал Стейнхардт. «Помимо самой технологии, нам также необходимы более широкий независимый доступ и надзор со стороны третьих лиц».

Эти призывы прозвучали в момент, когда OpenAI выпускает Astra — свою самую мощную и функциональную модель ИИ, которая, по мнению экспертов по безопасности, станет еще большей «черной коробкой» из-за метода рассуждений, делающего цепочку рассуждений модели более сложной для мониторинга. 

К сожалению, законодательство пока не предусматривает такие виды независимого аудита, которые требуются в других отраслях, — например, в случае авиационных аварий и серьезных выбросов опасных химических веществ существуют Национальный совет по безопасности на транспорте и Совет по расследованию химической безопасности соответственно. 

Законодатели штатов лишь недавно начали требовать от компаний, разрабатывающих передовые системы ИИ, сообщать об определенных серьезных инцидентах в области безопасности и в некоторых случаях проходить независимый аудит. Однако ни один из трех основных законов Калифорнии, Нью-Йорка и Иллинойса в сфере безопасности передового ИИ не содержит четкого требования о проведении независимого расследования аварий, инициируемого такими инцидентами. 

«Сейчас большинство действующих законов лишь требуют изложить подобные инциденты простым и понятным языком, но не дают государственным органам полномочий задавать дополнительные вопросы, направлять следователей, получать доступ к записям или требовать их сохранения, — заявила в среду во время брифинга для СМИ Маккензи Арнольд, управляющий директор направления законодательства и политики США в LawAI. — А именно это необходимо, чтобы действительно разобраться в произошедшем».

Законодатели начинают ставить под вопрос масштабы и прозрачность ответных мер OpenAI. На этой неделе конгрессмены Джош Готтхаймер (демократ от Нью-Джерси) и Майк Лоулер (республиканец от Нью-Йорка) представили законопроект, направленный на защиту от вышедших из-под контроля ИИ-агентов. Конгрессмен Грег Касар (демократ от Техаса) на этой неделе заявил OpenAI в письме, что он «глубоко обеспокоен ограниченными рамками» расследования инцидента со взломом Hugging Face.