Исследование объясняет, почему ИИ-агентам помогают «навыки» и когда они дают сбой
Ключевые моменты
- Исследователи из Принстонского университета и Калифорнийского университета в Сан-Диего провели более 8 000 тестовых запусков, чтобы изучить, как «навыки» улучшают работу ИИ-агентов. Эти навыки служат компактными инструкциями для выполнения конкретных задач.
- Результаты показывают, что навыки помогают скорее благодаря заданным процедурам, чем фактическим знаниям. Такая процедурная основа повысила производительность почти в 66 процентах случаев.
- Одно слабое место всё ещё сохраняется — поиск подходящих инструкций. Когда библиотека навыков увеличивается с 5 до 100 записей, доля успешного поиска в тестах падает с 29,6 до 3,3 процента. Более совершенным ИИ-агентам потребуются более надёжные методы извлечения.
Навыки считаются практичным способом сделать ИИ-агентов более способными без их дополнительного обучения. Новое исследование показывает, почему они работают и в чём их ограничения.
По сути, навык — это компактный набор инструкций. В нём описываются шаги, которым ИИ-агент должен следовать при выполнении задачи, что ему необходимо проверить и каких распространённых ошибок избежать. Вместо того чтобы начинать с нуля при выполнении каждой новой задачи, агент использует накопленный опыт. До сих пор, согласно новому исследованию, ценность навыков оценивалась только по тому, решал ли агент с навыками больше задач. Почему это происходило, оставалось неясным.
Команда исследователей из Принстонского университета, Калифорнийского университета в Сан-Диего и других учебных заведений изучила этот вопрос с помощью контролируемых экспериментов. Авторы сравнили поведение агентов с навыком и без него на одинаковых задачах в ходе 8 135 тестовых запусков.
Навык — это инструкция по действиям, а не база знаний
Главный вывод: навыки помогают в основном потому, что дают агентам надёжный процесс, которому нужно следовать, а не потому, что предоставляют недостающие факты. На эту «процедурную основу» пришлось 65,7 процента случаев, когда агент с навыком показал лучший результат, чем агент без него. Непосредственное предоставление знаний помогло лишь в 4,5 процента протестированных случаев.
Таким образом, навыки в первую очередь стабилизируют действия агента: какие шаги настройки выполнить, какие инструменты и в каком порядке использовать, какие промежуточные проверки провести. Это явно сокращает количество определённых ошибок выполнения — например, при настройке рабочей среды или выборе неправильных форматов вывода.
Но навыки также создают новый источник ошибок: исследование показало, что в 10 процентах случаев агент применял в целом полезную инструкцию механически или неподходящим образом. А в задачах, требующих принципиально иного решения, неправильный навык, очевидно, не помогает. Однако точное совпадение не является ни достаточным, ни необходимым условием. Связанные навыки часто сами по себе дают достаточно полезных указаний.
Второе узкое место — поиск подходящего навыка. Когда библиотека навыков увеличивается с 5 до 100 записей, точность поиска при реальном использовании в тестах падает с 29,6 до 3,3 процента. Варианты, звучащие особенно похоже, усложняют выбор.
Исследователи утверждают, что использование навыков следует рассматривать как жизненный цикл. Более эффективные самообучающиеся агенты появятся не благодаря хранению большего количества опыта, а благодаря более надёжным способам его создания, поиска и применения.
Новости ИИ без хайпа — отобраны людьми
Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный передовой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.