Проучване обяснява защо AI агентите имат полза от „умения“ и кога се провалят

Уменията се разглеждат като практичен начин за повишаване на способностите на AI агентите, без те да бъдат дообучавани. Ново проучване показва защо работят и къде се провалят.

В основата си едно умение представлява кратък набор от инструкции. То описва стъпките, които AI агентът трябва да следва при дадена задача, какво трябва да провери и кои често срещани грешки да избягва. Вместо да започва от нулата при всяка нова задача, агентът използва тези съхранени преживявания. Според новото проучване досега стойността им е била измервана единствено чрез това дали агент с умения е решавал повече задачи. Причината за това е оставала неясна.

Екип от изследователи от Принстънския университет, Калифорнийския университет в Сан Диего и други учебни заведения се е заел с този въпрос чрез контролирани експерименти. Авторите са сравнили поведението на агенти със и без дадено умение при идентични задачи в рамките на 8135 теста.

Уменията са наръчник, а не база от знания

Основният извод е, че уменията помагат най-вече, защото дават на агентите надежден процес, който да следват, а не защото предоставят липсващи факти. Тази „процедурна основа“ е била причина за 65,7 процента от случаите, в които агент с умение се е представил по-добре от агент без умение. Директното предоставяне на знания е помогнало само в 4,5 процента от тестваните случаи.

Следователно уменията основно стабилизират действията на агента: кои стъпки за настройка да изпълни, кои инструменти и в какъв ред да използва, както и какви междинни проверки са необходими. Това ясно намалява някои грешки при изпълнението, като например неправилното настройване на работната среда или грешното задаване на форматите на изходните данни.

Но уменията създават и нов източник на грешки: в 10 процента от случаите, установява проучването, агентът е прилагал иначе полезен наръчник механично или по начин, който не е бил подходящ. А при задачи, изискващи фундаментално различно решение, очевидно грешното умение не помага. Точното съвпадение обаче нито е достатъчно, нито е необходимо. Свързаните умения често сами по себе си предоставят достатъчно насоки.

Друго препятствие е намирането на правилното умение още в началото. Когато библиотеката с умения нарасне от 5 на 100 записа, прецизността на извличането при реална употреба спада от 29,6 на 3,3 процента в тестовете. Опциите, които звучат особено сходно, правят избора по-труден.

Изследователите твърдят, че използването на умения трябва да се разглежда като жизнен цикъл. По-добрите самообучаващи се агенти няма да се появят чрез съхраняването на повече преживявания, а чрез по-надеждни начини за тяхното създаване, извличане и прилагане.

AI новини без сензация – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен AI бюлетин, нашия ексклузивен шест пъти годишно доклад за водещите разработки „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.