HarnessDev: большинство изменений агентских оболочек не обобщаются
Исследователи из ByteDance Seed, Singapore University of Technology and Design, Georgia Institute of Technology, M-A-P и TokenWave.AI представили HarnessDev — бенчмарк, оценивающий исполняемую оболочку вокруг языковой модели, а не только выдаваемый ею ответ. В такую оболочку входят цикл выполнения, инструменты, контекст, состояние, восстановление и проверка. Шесть моделей получили одинаковую минимальную основу с результатом 0: в ней не было цикла, планировщика, верификатора, повторных попыток и правила остановки. Затем они создавали оболочки для пяти бенчмарков в четырех областях.
На этапе Creation модель Opus 4.8 показала лучший средний результат Self-Eval — 67,8 против 86,2 у эталона, созданного человеком. Самый большой разрыв оказался в поиске: GPT-5.5 набрала 52,6 в BrowseComp при 92,2 у эталона. В задачах на написание текстов и машинные эксперименты модели сравнялись с эталоном или превзошли его, но заметно уступили в коде и поиске. Объем кода и число самопроверок почти не объясняли качество; значительная часть кода для состояния, памяти и письма не запускалась.
На этапе Evolution появились 73 официальные версии и 64 последовательных изменения. Все пять линий с собственным исполнителем улучшили результаты на скрытых задачах, однако средний прирост составил лишь 3,11 пункта и не был стабильным. Обратная связь и скрытые оценки менялись в одном направлении только в 34 случаях из 64, а явные положительные свидетельства были лишь для двух изменений. Результат зависел от исполнителя: показатель Opus 4.8 на SWE-bench Pro снизился с 69,3 до 33,0 после замены исполнителя на Gemini 3.1 Pro.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.