HarnessDev показва ограничено обобщаване на промените в агентските хранилища
Изследователи от ByteDance Seed, Singapore University of Technology and Design, Georgia Institute of Technology, M-A-P и TokenWave.AI представиха HarnessDev — benchmark, който оценява изпълнимия софтуер около езиковия модел, а не само неговия отговор. Това хранилище включва цикъл за изпълнение, инструменти, контекст, състояние, възстановяване и проверка. Шест модела започват от еднаква минимална основа, която получава резултат 0 без цикъл, планировчик, верификатор, повторен опит или правило за спиране, след което създават хранилища за пет benchmark-а в четири области.