Дослідження пояснює, чому ШІ-агенти виграють від «навичок» і коли зазнають невдач

Навички вважаються практичним способом зробити ШІ-агентів більш спроможними без їхнього повторного навчання. Нове дослідження показує, чому вони працюють і де дають збій.

По суті, навичка — це компактний набір інструкцій. У ньому описано кроки, яких ШІ-агент має дотримуватися під час виконання завдання, що саме йому потрібно перевірити та яких поширених помилок уникати. Замість того щоб щоразу починати виконання нового завдання з нуля, агент використовує ці збережені напрацювання. Досі, згідно з новим дослідженням, їхню цінність вимірювали лише за тим, чи розв’язував агент із навичками більше завдань. Чому саме це відбувалося, залишалося незрозумілим.

Команда дослідників із Принстонського університету, Каліфорнійського університету в Сан-Дієго та інших закладів дослідила це питання за допомогою контрольованих експериментів. Автори порівняли поведінку агентів із навичкою та без неї на однакових завданнях у 8 135 тестових запусках.

Навички — це інструкція до дій, а не база знань

Головний висновок: навички допомагають переважно тому, що дають агентам надійний процес, якого слід дотримуватися, а не тому, що постачають відсутні факти. Це «процедурне обґрунтування» пояснювало 65,7 відсотка випадків, коли агент із навичкою працював краще за агента без неї. Безпосереднє надання знань допомогло лише у 4,5 відсотка досліджених випадків.

Отже, навички головним чином стабілізують дії агента: які кроки налаштування виконати, які інструменти та в якій послідовності застосувати, які проміжні перевірки потрібні. Це помітно зменшує кількість певних помилок під час виконання, наприклад під час налаштування робочого середовища або вибору неправильного формату результату.

Але навички також створюють нове джерело помилок: як виявило дослідження, у 10 відсотках випадків агент механічно застосовував загалом корисну інструкцію до дій або використовував її у спосіб, що не відповідав ситуації. А в завданнях, які потребують принципово іншого рішення, неправильна навичка, очевидно, не допомагає. Однак точна відповідність не є ані достатньою, ані необхідною умовою. Пов’язані навички часто самі по собі дають достатні орієнтири.

Друга перешкода — спочатку знайти правильну навичку. Коли бібліотека навичок зростає з 5 до 100 записів, точність пошуку під час фактичного використання в тестах падає з 29,6 до 3,3 відсотка. Варіанти, які звучать особливо схоже, ускладнюють вибір.

Дослідники стверджують, що використання навичок слід розглядати як життєвий цикл. Кращі агенти, здатні до самонавчання, з’являться не завдяки зберіганню більшої кількості напрацювань, а завдяки надійнішим способам їх створення, пошуку та застосування.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку новин про ШІ, шість разів на рік отримувати наш ексклюзивний звіт про передові розробки «AI Radar», мати доступ до повного архіву та розділу коментарів.