Когда агенты действуют самостоятельно, управление должно находиться на уровне данных

Представлено EDB

По мере того как компании предоставляют ИИ-агентам всё больше автономии — возможности планировать, принимать решения и действовать в разных системах без одобрения каждого шага человеком, — в центре каждого архитектурного обзора оказывается сложный вопрос: что на самом деле остановит агента, если он попытается выполнить действие, на которое у него никогда не было полномочий?

Это ваши агенты, работающие на ваших моделях, обращающиеся к вашим данным в вашей инфраструктуре, — и ответственность за их действия лежит на вас. Эту ответственность нельзя обеспечить задним числом или с помощью набора абстрактных политик, существующих на бумаге, но не на практике. Агентам нужны правила, учитывающие контекст текущего момента, поскольку они не способны самостоятельно выносить окончательное суждение о собственных действиях.

Рассмотрим простое правило: никогда не открывай дверь автомобиля. При буквальном следовании этому правилу агент вообще не сможет ни войти в автомобиль, ни выйти из него. Но если изменить контекст — автомобиль только что попал в аварию, начался пожар, кто-то ранен и ему нужно выбраться, — то на самом деле вам потребуется противоположное правило. Контекст в конкретный момент имеет решающее значение. Мы просим агентов выполнять интеллектуальные задачи, а для этого нужны интеллектуальные правила.

Инстинктивная реакция — добавить вокруг агента защитные барьеры: инструкции, политики и мониторинг, расположенные над моделью. Эти механизмы важны, но у них есть общее структурное ограничение: правило о двери автомобиля кажется разумным вплоть до момента, когда действительно приходится решать, открывать ли дверь. Средства контроля на уровне агента надёжны лишь настолько, насколько предсказуем его результат, а автономность — это как раз свойство, из-за которого такой результат трудно предсказать. Управление, зависящее от проверки действия до его выполнения, не сможет успевать за системой, которая действует за миллисекунды и одновременно взаимодействует с множеством систем.

Управление должно стать исполняемым и обеспечиваться там, где агенты действительно выполняют свою работу: на уровне операционных данных, с учётом контекста и точно в момент выполнения действия.

Уровень данных — точка обеспечения контроля

Агенты создают ценность, взаимодействуя с данными. Они запрашивают, извлекают и преобразуют их, а всё чаще — совершают на их основе действия. Политика, согласно которой агент не должен получать доступ к определённому классу данных, имеет смысл только в том случае, если система может отказать в доступе в момент запроса агента. Кроме того, принцип, согласно которому ИИ должен быть проверяемым, имеет смысл лишь тогда, когда организация может восстановить, что сделал агент, к каким данным он обращался, от имени какого пользователя действовал и каков был результат. Когда управление находится на уровне данных, оно действует независимо от того, как был создан агент и как он себя ведёт, поскольку контроль является свойством самой базы данных, а не обещанием, данным агентом.

Поведение агента может быть вероятностным. Управление — нет

Компания не должна полагаться на то, что модель сама решит соблюдать политику. Политика должна обеспечиваться системой. В этом разница между надеждой, что участник не выйдет за установленные границы, и созданием границ, которые он изначально не сможет пересечь.

Средства контроля, делающие это реальностью, — те, которые многие компании уже используют на уровне данных: управление доступом на основе ролей и атрибутов, безопасность на уровне строк и столбцов, классификация и маскирование, политика как код и полные журналы аудита.

Агенты меняют не сам механизм, а то, кого этот механизм должен распознавать. Управление идентификацией должно рассматривать агента как самостоятельный субъект с собственной идентичностью и целью, заявленной при открытии сеанса.

Если цель связана с идентичностью, механизм политик может оценивать её так же, как сегодня оценивает роль или подразделение, а запись о произошедшем сможет фиксировать не только то, кто совершил действие и к чему обращался, но и что именно этот субъект заявил в качестве цели своего обращения.

На практике это сводится к девяти средствам контроля, объединённым в рамках трёх императивов:

Обеспечивайте соблюдение

• Управление доступом на основе ролей и атрибутов, применяемое во время выполнения запроса как для агентов, так и для пользователей

• Динамическое маскирование столбцов, осуществляемое через тот же контур политик

• Идентичность агента как самостоятельного субъекта с заявленной целью, привязанной к началу сеанса, при сохранении информации о действующем пользователе

Наблюдайте и доказывайте

• Классификация и маркировка, определяющие политики

• Аудит на уровне сеанса, фиксирующий, какой агент действовал, для какого пользователя и с какой заявленной целью

• Отслеживание происхождения данных во всех конвейерах, чтобы результат можно было связать с запросом, который его породил

Унифицируйте и укрепляйте

• Централизованное переносимое управление политиками

• Шифрование данных в состоянии покоя и при передаче

• Единообразное применение политик в локальных, облачных, суверенных и изолированных средах

«Именно заявленная цель имеет решающее значение. Она становится атрибутом, который уже понимает уровень управления доступом, и оценивается в рамках того же контура политик, что и роль с безопасностью на уровне строк. Механизм обеспечения контроля не меняется. Меняется то, что цель агента становится частью того, что он оценивает, и частью того, что впоследствии подтверждается записью», — говорит Приянка Джайн, вице-президент по управлению продуктами в области данных и ИИ в EDB.

На каком бы этапе внедрения ИИ вы ни находились, применение контроля на уровне данных позволяет двигаться быстрее, а не медленнее. Все необходимые средства контроля уже есть в базе данных. Разница лишь в том, что теперь агентам приходится проходить через них.

Цифровой поводок, а не запертая дверь

Цель не в том, чтобы помешать агентам выполнять полезную работу. Она заключается в том, чтобы определить, насколько далеко агент может зайти, к чему он может обращаться, что может изменять, какие действия требуют эскалации и как организация сможет восстановить последовательность событий, если что-то пойдёт не так. При таком подходе агенты идентифицируются, получают ограниченную область действий, контролируются и поддаются аудиту. Компания может внедрять их быстрее, поскольку команды безопасности, управления рисками и руководители доверяют лежащей в основе операционной модели.

Открытость, суверенитет и контроль в источнике

Построенная на открытом исходном коде Postgres, эта открытая основа позволяет компаниям сохранять контроль над тем, где находятся их данные, кто может получить к ним доступ и в соответствии с какой политикой, не передавая управление уровню, которым они не владеют или который не могут проверить. Для регулируемых отраслей сочетание суверенитета данных и контроля на уровне источника — не просто желательное преимущество, а обязательное условие для запуска агентов в продуктивной среде.

Агентные системы будут становиться всё более функциональными и автономными. Это причина тщательно определить, где должен находиться контроль, а не повод замедлять развитие. Компании, обеспечивающие управление на уровне данных, могут активно внедрять ИИ, поскольку защитой их данных служит нечто большее, чем одни лишь благие намерения.

EDB Postgres AI — это открытая суверенная платформа корпоративного уровня для работы с данными и ИИ, объединяющая транзакционные, аналитические и ИИ-нагрузки, при этом управление обеспечивается там, где находятся данные. Полную концепцию см. в техническом документе EDB «Управление агентным ИИ с корпоративной скоростью».

Макс Романенко — технический директор EDB.

Спонсорские статьи — это материалы, подготовленные компанией, которая оплачивает публикацию или состоит в деловых отношениях с VentureBeat; такие материалы всегда имеют соответствующую маркировку. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.