Справжній ризик корпоративного ШІ — не автономні агенти. А складність між ними.

Представлено Gravitee

Складність агентів — це підступна тінь, що нависає над підприємствами просто зараз і яку необхідно висвітлити.

Річ у тім, що підприємства не розгортають одного агента й не спостерігають за його роботою. Вони розгортають цілі флотилії агентів, кожен із яких викликає API, звертається до інших агентів і взаємодіє із застосунками, які ніколи не створювалися з урахуванням машинного ухвалення рішень. Саме цей сценарій відмови має не давати вам спати: заплутана, складна система, яку ніхто не може побачити достатньо чітко, щоб нею керувати. Але чому все так швидко стає непрозорим?

Додайте до системи другого агента — і ви додали одне з’єднання. Додайте десятого — і ви не додали десять з’єднань, а потенційно десятки, адже тепер будь-який агент може викликати будь-якого іншого, а кожен із цих викликів може спричинити виклик десь іще. Складність не зростає поступово разом із кількістю агентів. Вона примножується разом із кількістю шляхів між агентами, а обов’язку накреслити цей граф немає ні в кого. Заявка до служби підтримки, яка раніше стосувалася однієї системи, тепер може пройти через чотирьох агентів, перш ніж її побачить людина, і кожна з цих передач є точкою ухвалення рішення, яку ніхто не схвалював.

Більшість корпоративних програм зі штучного інтелекту зупиняються, коли люди, відповідальні за агентів, втрачають розуміння процесу. Поставте команді безпеки просте запитання: які агенти можуть отримати доступ до яких систем — і спостерігайте за тишею. Запитайте, який агент запустив яку подальшу дію три переходи тому. Ще більше тиші.

Інстинктивна реакція — сприймати це як контрольний список. Схвалити агента. Вести журнал агента. Рухатися далі. Я стверджую, що це неправильний підхід. Контрольний список перевіряє один момент часу. Складність проходить через увесь ланцюг, а керувати ланцюгом за допомогою стосу одноразових схвалень не можна так само, як не можна вважати дієту успішною лише тому, що ви одного разу з’їли овоч.

То де саме все починає руйнуватися?

Спочатку розповзаються дозволи. Хтось створює агента для узагальнення заявок до служби підтримки, надає йому широкий доступ до API, бо належне визначення меж потребувало б ще одного спринту, а потім забуває про нього. Через шість місяців цей самий агент уже має шлях до платіжної системи. Ніхто не пам’ятає, щоб це схвалював. Та ніхто й не схвалював.

А відповідальність розмивається що далі проходить ланцюг. П’ять агентів взаємодіють в одному робочому процесі, на четвертому кроці щось ламається — і тепер ви запитуєте, хто відповідає за ланку, якою ніколи ніхто не був призначений опікуватися, бо організаційна схема зупинилася на «розгорнути агента» і так і не дійшла до «назвати людину, яка відповідатиме за нього».

Це історія про інфраструктуру управління, яка не встигає за тим, як агенти поводяться насправді: взаємопов’язані, каскадні, вони множаться швидше, ніж процеси, створені для їх відстеження.

Виправлення цієї сукупності проблем починається з ідентичності. Кожен агент має існувати як окрема сутність, а не як тіньовий дозвіл, запозичений у того, хто його розгорнув. Власне ім’я в реєстрі. Власні обмежені повноваження. Призначений відповідальний співробітник, який відповідає за його дії. Це необхідно.

Але цього навіть близько недостатньо.

Складніша частина — нагляд, що охоплює весь ланцюг, а не лише кожну окрему його ланку. Потрібно в реальному часі бачити, що зробив агент, які подальші дії він запустив і де закінчується цей слід, а не у звіті, який хтось складає раз на квартал. Налагодьте ідентичність на рівні агентів і зупиніться на цьому — і зрештою отримаєте шафу, повну бездоганно задокументованих агентів, що працюють усередині системи, яку ніхто насправді не може пояснити.

А сам по собі нагляд лише повідомляє, що вже сталося. Спостерігати за ланцюгом — не те саме, що контролювати його. Забезпечення виконання правил — це те, що пропускає більшість програм: можливість зупинити виклик, який не відповідає політиці, ще до його виконання, а не просто записати його, щоб хтось знайшов цей запис під час перевірки через три тижні. Панель моніторингу, яка показує, що агент порушив межі своїх повноважень п’ять хвилин тому, — це інструмент моніторингу. Система, яка взагалі не дає порушенню статися, — це управління. Підприємствам, які серйозно ставляться до відповідальності агентів, потрібні обидва компоненти, а більшість створила лише перший.

Ми всі рухаємося з шаленою швидкістю, щоб не залишитися позаду в перегонах, у яких опинилися, і надто добре усвідомлюємо, що уповільнення має свою ціну. Кожне підприємство, яке серйозно ставиться до агентного ШІ, зрештою впирається в стіну складності. Ті, кому вдається її подолати, створили достатню прозорість і підзвітність, щоб їхня флотилія могла й далі зростати, не позбавляючи нікого можливості відповісти на одне запитання: що ця система робить просто зараз і хто за це відповідає.

Але не пропустіть головного. Складність — не причина бити по гальмах. Підприємства, які роблять усе правильно, не сповільнюються. Вони рухаються до гармонії людини й агента, де масштаб і підзвітність зростають разом, а не обмінюються одне на одне.

Справжній ризик ніколи не полягав в одному агенті, який робить саме те, для чого його створили. Він полягає в сотні таких агентів, які роблять саме це одночасно, взаємодіючи в комбінаціях, для яких їх ніхто не проєктував. Саме таке множення не дає корпоративному ШІ вийти за межі пілотних проєктів і перейти до промислової експлуатації.

Розв’яжіть проблему складності — і автономність перестане бути лиходієм. Вона стане самою суттю.

Рорі Бланделл — генеральний директор Gravitee.

Спонсорські статті — це матеріали, створені компанією, яка або платить за публікацію, або має ділові відносини з VentureBeat; вони завжди чітко позначені. Щоб отримати більше інформації, зв’яжіться з sales@venturebeat.com.