HarnessDev: більшість змін агентських оболонок не узагальнюються
Дослідники з ByteDance Seed, Singapore University of Technology and Design, Georgia Institute of Technology, M-A-P і TokenWave.AI представили HarnessDev — бенчмарк, що оцінює виконувану оболонку навколо мовної моделі, а не лише її відповіді. До оболонки належать цикл виконання, інструменти, контекст, стан, відновлення та перевірка. Шість моделей отримали однакову мінімальну основу з оцінкою 0: без циклу, планувальника, верифікатора, повторних спроб і правила зупинки. Після цього вони створювали оболонки для п’яти бенчмарків у чотирьох сферах.