HarnessDev: більшість змін агентських оболонок не узагальнюються
Дослідники з ByteDance Seed, Singapore University of Technology and Design, Georgia Institute of Technology, M-A-P і TokenWave.AI представили HarnessDev — бенчмарк, що оцінює виконувану оболонку навколо мовної моделі, а не лише її відповіді. До оболонки належать цикл виконання, інструменти, контекст, стан, відновлення та перевірка. Шість моделей отримали однакову мінімальну основу з оцінкою 0: без циклу, планувальника, верифікатора, повторних спроб і правила зупинки. Після цього вони створювали оболонки для п’яти бенчмарків у чотирьох сферах.
На етапі Creation модель Opus 4.8 показала найвищий середній результат Self-Eval — 67,8 проти 86,2 у створеного людьми еталона. Найбільший розрив зафіксували в пошуку: GPT-5.5 отримала 52,6 у BrowseComp, тоді як еталон мав 92,2. У написанні текстів і машинних експериментах моделі зрівнялися з еталоном або перевищили його, але відставали в коді та пошуку. Обсяг коду й кількість самоперевірок майже не пояснювали якість, а значна частина коду для стану, пам’яті та написання не виконувалася.
На етапі Evolution створили 73 офіційні версії та 64 послідовні зміни. Усі п’ять ліній із власним виконавцем покращили результати на прихованих завданнях, однак середній приріст становив лише 3,11 бала й не був стабільним. Зворотний зв’язок і оцінки на прихованих завданнях рухалися в одному напрямку лише у 34 із 64 випадків, а чіткі позитивні докази отримали тільки для двох змін. Результат залежав від виконавця: показник Opus 4.8 у SWE-bench Pro впав із 69,3 до 33,0 після заміни виконавця на Gemini 3.1 Pro.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.