HarnessDev показва ограничено обобщаване на промените в агентските хранилища
Изследователи от ByteDance Seed, Singapore University of Technology and Design, Georgia Institute of Technology, M-A-P и TokenWave.AI представиха HarnessDev — benchmark, който оценява изпълнимия софтуер около езиковия модел, а не само неговия отговор. Това хранилище включва цикъл за изпълнение, инструменти, контекст, състояние, възстановяване и проверка. Шест модела започват от еднаква минимална основа, която получава резултат 0 без цикъл, планировчик, верификатор, повторен опит или правило за спиране, след което създават хранилища за пет benchmark-а в четири области.
В етапа Creation Opus 4.8 постига най-високата средна оценка при Self-Eval — 67.8, спрямо 86.2 за референтно хранилище, създадено от хора. Най-голямото изоставане е при търсенето: GPT-5.5 достига 52.6 в BrowseComp при 92.2 за референцията. Моделите изравняват или надминават референтните резултати при писане и машинни експерименти, но изостават при код и търсене. Размерът на кода и броят самотестове почти не са свързани с качеството, а голяма част от кода за състояние, памет и писане не се изпълнява.
В Evolution са създадени 73 официални версии и 64 последователни промени. Всичките пет линии със собствен изпълнител се подобряват върху скрити задачи, но средният ръст е само 3.11 точки и не е постоянен. Обратната връзка и резултатите върху скритите задачи сочат в една посока само при 34 от 64 промени; ясни положителни доказателства има за две. Качеството зависи и от изпълнителя: резултатът на Opus 4.8 в SWE-bench Pro спада от 69.3 на 33.0 при замяна с Gemini 3.1 Pro.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.