Нам срочно нужно отслеживать действия ИИ-агентов в режиме реального времени

Этим летом сотни агентов OpenAI пытались сжульничать во время теста на кибербезопасность. Они вырвались из тестовой среды и успешно взломали Hugging Face — сайт, на котором, как они считали, находились подсказки о том, как будут оцениваться их результаты. Примерно в то же время другой агент OpenAI получил доступ к личным файлам на сайте австралийского правительства. Эта проблема отнюдь не ограничивается OpenAI. За прошедшие месяцы Anthropic, Google и Meta также раскрыли информацию об инцидентах, в которых их агенты отклонялись от заданного курса. И что особенно тревожно, во многих случаях агентам удавалось обойти внимание тех самых исследователей и команд по безопасности, которым поручено их контролировать.

ИИ-агенты предпринимают несанкционированные действия, а компании, которые их создают и эксплуатируют, в основном полагаются на удачу и анализ уже произошедшего, чтобы смягчить любые вредные последствия. Им необходимо делать больше для обеспечения безопасности. Поэтому регуляторы ЕС и американские ведомства справедливо призывают разработчиков и операторов агентов отслеживать их работу в реальном времени. Но эти правила предполагают, что компании могут видеть, что делают их агенты и почему, тогда как в действительности им не хватает достаточной прозрачности.

По мере того как агенты внедряются в критически важные сферы — от финансов до государственного управления и медицины, — мы должны иметь возможность отслеживать их работу в реальном времени, чтобы предотвращать масштабные и потенциально разрушительные последствия. А поскольку безопасность зависит от мониторинга, мониторинг требует наблюдаемости: способности фиксировать действия системы, преобразовывать их в сигналы и представлять эти сигналы людям или автоматизированным системам надзора. Иными словами, нам нужно знать, что сделал агент и почему он это сделал. И как показывает наше недавнее исследование, современные фреймворки агентов — программное обеспечение, на котором работают агенты, — не обеспечивают надежного формирования важнейших записей о наблюдаемости, необходимых для безопасного внедрения агентов.

Агенты создают новые типы проблем, которых не возникает при использовании одного лишь генеративного ИИ. Они наследуют непредсказуемость больших языковых моделей, на которых построены, но если генеративная ИИ-система выдает один результат, на основе которого действует человек, то агент выполняет более длительные задачи: планирует, выбирает инструменты, создает субагентов и совершает действия. Поэтому траектория агента может складываться множеством разных способов, и никакие тесты до запуска не способны полностью предвидеть риски. Это делает наблюдение за агентами во время их работы еще более сложным и еще более важным.

Вместе с коллегами из академической среды, гражданского общества и индустрии мы изучили четыре наиболее широко используемых фреймворка агентов, чтобы выяснить, какие сигналы они фактически генерируют. Мы обнаружили серьезные пробелы, из-за которых трудно достичь ключевых целей безопасности, таких как выявление нарушений правил, несанкционированных действий и даже сбоев человеческого надзора. Отсутствовали важные требования к наблюдаемости — например, постоянные идентификаторы агентов и записи о том, какие люди одобряли задачи агентов. Из-за этого было трудно установить, какие агенты совершали те или иные действия, и оценить, не действовали ли они без разрешения.

Хорошая новость заключается в том, что выявленные пробелы можно закрыть. Для этого нужно начать с фиксации двух типов записей: тех, которые показывают, что произошло во время работы агента, и тех, которые показывают, как агент принимал решения. Записи о том, «что произошло», идентифицируют агента, сохраняя конфиденциальность, и фиксируют вмешательства людей, а также изменения разрешений или «памяти» агента. Записи о «принятых решениях» отражают ход рассуждений агента и степень его уверенности в предпринятых действиях.

Например, рассмотрим агентов, обрабатывающих ипотечные заявки банка. Система изучает заявку и рекомендует отказать в ней, после чего кредитный специалист одобряет это решение. Во время последующей проверки или, возможно, даже в реальном времени банк или регулятор должен иметь возможность восстановить, какой агент принял решение, какой специалист его одобрил и сколько времени они на это потратили. Банк также должен проанализировать записи о том, как агент пришел к решению об отказе, чтобы убедиться, что он не использовал запрещенную информацию — например, сведения о районе, из которого происходит заявитель.

Для фиксации «того, что произошло» и «того, как агент принял решение» требуются разные подходы, но оба вполне осуществимы. Нынешнее отсутствие записей о «том, что произошло» — главным образом проблема программной инфраструктуры, которую можно решить с помощью OpenTelemetry, открытого стандарта наблюдаемости, поддерживаемого инженерами по всей отрасли и фреймворками агентов, которые его внедряют.

OpenTelemetry создала рабочую группу, разрабатывающую общие форматы для трассировки работы агентов, но они еще не утверждены. Группа должна срочно включить в них стандарты сохранения постоянной идентичности агентов, а также регистрации вмешательств людей и изменений разрешений или памяти агентов. Это необходимо сделать до того, как такие системы смогут масштабироваться, одновременно учитывая последствия для конфиденциальности, связанные с идентификатором агента, который связан с реальными людьми.

Сохранить записи о «том, как агенты принимали решения», сложнее. Этот вопрос ставит перед разработчиками моделей и исследователями ряд нерешенных задач: отражает ли пошаговое рассуждение модели, известное как цепочка рассуждений, то, как модель фактически приняла решение? И существуют ли у нас надежные способы измерить, насколько агент уверен в этом решении? На эти вопросы нужно ответить, прежде чем кто-либо начнет устанавливать стандарты использования таких записей о наблюдаемости.

Ни одна организация или отрасль не сможет самостоятельно устранить пробелы в наблюдаемости, но вместе они могут поддержать инфраструктуру, необходимую для предотвращения опасных инцидентов и обеспечения безопасности.

Разработчики ИИ, создающие фреймворки агентов, — такие как OpenAI, Anthropic, CrewAI и LangChain, — должны интегрировать телеметрические сигналы, фиксирующие постоянную идентичность агента, любые вмешательства людей, а также любые изменения разрешений и памяти агента. Между тем компании, внедряющие эти фреймворки агентов, играют влиятельную роль: предприятия из регулируемых отраслей, например банки и больницы, могут оказывать давление на разработчиков агентов, требуя предоставлять недостающие записи о наблюдаемости там, где соответствующие стандарты пока отсутствуют.

Компании также должны определить политики, разрешения и роли, устанавливающие, что агентам разрешено безопасно делать, поскольку одной телеметрии недостаточно, чтобы оценить, нарушили ли агенты конкретные правила. Наконец, регуляторы и институты стандартизации в сфере ИИ должны определить записи о наблюдаемости, необходимые для развертывания ИИ в критически важных областях, оставив технические детали отрасли. Мы уже видим первые признаки прогресса в этой сфере: инициатива NIST по разработке стандартов для агентов в США работает над идентичностью агентов — одним из наиболее заметных пробелов, выявленных в нашем исследовании.

Ни один банк не выпустил бы тысячу сотрудников без бейджей к счетам клиентов в надежде потом разобраться, что произошло, когда что-нибудь пойдет не так. И все же именно так мы внедряем ИИ-агентов. Обеспечение наблюдаемости их поведения — первый шаг к исправлению ситуации. А создавая регуляторную и политическую экосистему, которая позволяет действовать на основе увиденного, мы можем привлечь организации к ответственности. До тех пор каждая задача, которую мы поручаем агенту, означает и передачу ему части нашей самостоятельности.

Мадхулика Шрикумар — руководитель программы по безопасности ИИ в Partnership on AI, глобальном некоммерческом партнерстве ведущих организаций индустрии, академического сообщества и гражданского общества, продвигающем передовые практики управления ИИ.

Клэр Лайбоуиц — директор по вопросам ИИ, доверия и общества в Partnership on AI и докторант Оксфордского университета.