HarnessDev: большинство изменений агентских оболочек не обобщаются
Исследователи из ByteDance Seed, Singapore University of Technology and Design, Georgia Institute of Technology, M-A-P и TokenWave.AI представили HarnessDev — бенчмарк, оценивающий исполняемую оболочку вокруг языковой модели, а не только выдаваемый ею ответ. В такую оболочку входят цикл выполнения, инструменты, контекст, состояние, восстановление и проверка. Шесть моделей получили одинаковую минимальную основу с результатом 0: в ней не было цикла, планировщика, верификатора, повторных попыток и правила остановки. Затем они создавали оболочки для пяти бенчмарков в четырех областях.