ToolGrad достига 99,8% успеваемост при създаване на данни за инструменти
Изследователи от Google, Токийския университет, RIKEN AIP и университета Тохоку представиха ToolGrad — рамка, която обръща обичайния процес за създаване на данни за обучение на модели, използващи инструменти. Вместо първо да генерира потребителска заявка и после да търси подходяща последователност от API извиквания, системата изпълнява API заявките, изгражда проверена верига и едва след това създава съответстващи заявка и отговор.
ToolGrad използва четири модула в повтарящ се цикъл: API Proposer предлага следващи извиквания, Executors ги изпълняват, Selector избира най-добрия резултат, а LLM Updater актуализира синтетичните заявка и отговор. Настройката по подразбиране прави 10 итерации с 50 извадени API за всеки процес. При базата ToolBench с над 16 000 API заявената успеваемост нараства от 63,8% при търсене в дълбочина до 99,8%. Веригите съдържат средно 3,4 реално използвани инструмента вместо 2,1, докато стъпките за използване спадат от 34,3 на 20,0.
Екипът е създал и набора ToolGrad-500 от 500 примера с Gemini 2.5 Flash-Lite и го е използвал за дообучаване на Gemma-3 с 1B, 4B и 12B параметъра. В Berkeley Function Calling Leaderboard ToolGrad-12B получава 83,1 точки — близо до 83,2 за Gemini 2.5 Pro и над публикуваните резултати за Claude 4.5 Opus и GPT-5. Кодът, наборът от данни и моделите са предоставени според посочените лицензионни условия.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.