Рабочие процессы с ИИ показывают важность прослеживаемости данных

Торговый представитель просит ИИ-агента найти цены для клиента. Агент объединяет сведения из систем с ограниченным доступом к ценам, внутренних сообщений и архивных предложений. Результат кажется точным, поэтому другой агент использует его для подготовки предложения. Ни один из переходов не проверяет человек. Позднее выясняется, что в документ попали неутвержденные, конфиденциальные и чувствительные сведения, однако организация не может установить, где именно они вошли в процесс и как распространились между системами, файлами и агентами.

В материале этот пример приводится как иллюстрация того, что управление ИИ должно учитывать данные, которые постоянно загружаются, копируются, обобщаются, преобразуются, повторно используются и распространяются в новых формах. Авторы утверждают, что традиционных мер, сосредоточенных только на приложениях, системах, сетях или конечных устройствах, недостаточно для агентного ИИ. По их мнению, организациям необходимо отслеживать происхождение и перемещение данных, чтобы обеспечивать управление, подотчетность и доверие в процессах с участием людей, агентов и их сочетания.

Материал подготовлен Insights, подразделением MIT Technology Review по заказному контенту, а не редакцией издания. Исследование и текст выполнены людьми; любые использованные инструменты ИИ применялись только на производственных этапах под контролем человека.