ToolGrad достиг 99,8% успешных результатов при создании данных для инструментов
Исследователи из Google, Токийского университета, RIKEN AIP и Университета Тохоку представили ToolGrad — фреймворк, меняющий обычный порядок подготовки данных для обучения моделей работе с инструментами. Система сначала выполняет API-вызовы и строит проверенную цепочку, а затем генерирует подходящий пользовательский запрос и ответ. В традиционном подходе запрос создаётся первым, после чего агент пытается найти соответствующую последовательность действий.
ToolGrad объединяет четыре модуля в повторяющийся цикл: API Proposer предлагает возможные следующие вызовы, Executors запускают их, Selector выбирает наиболее успешный результат, а LLM Updater переписывает синтетические запрос и ответ. Конфигурация по умолчанию выполняет 10 итераций с 50 выбранными API на один рабочий процесс. На базе ToolBench, содержащей более 16 000 API, заявленная доля успешных примеров выросла с 63,8% для поиска в глубину до 99,8%. Среднее число фактически использованных инструментов увеличилось с 2,1 до 3,4, а число шагов работы с инструментами сократилось с 34,3 до 20,0.
Авторы подготовили набор ToolGrad-500 из 500 примеров с помощью Gemini 2.5 Flash-Lite и дообучили Gemma-3 с 1B, 4B и 12B параметрами. На Berkeley Function Calling Leaderboard модель ToolGrad-12B получила 83,1 балла против 83,2 у Gemini 2.5 Pro; опубликованные результаты Claude 4.5 Opus и GPT-5 составили 82,8 и 74,4 соответственно. Код, набор данных и модели доступны на условиях, указанных разработчиками.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.