Sakhanda Wire
NVDA $153.26 -1.85% MSFT $506.01 -2.31% GOOGL $280.39 -1.17% META $620.55 -0.94% AMZN $257.19 -0.22%
← Към новините

HarnessDev показва ограничено обобщаване на промените в агентските хранилища

Изследователи от ByteDance Seed, Singapore University of Technology and Design, Georgia Institute of Technology, M-A-P и TokenWave.AI представиха HarnessDev — benchmark, който оценява изпълнимия софтуер около езиковия модел, а не само неговия отговор. Това хранилище включва цикъл за изпълнение, инструменти, контекст, състояние, възстановяване и проверка. Шест модела започват от еднаква минимална основа, която получава резултат 0 без цикъл, планировчик, верификатор, повторен опит или правило за спиране, след което създават хранилища за пет benchmark-а в четири области.

В етапа Creation Opus 4.8 постига най-високата средна оценка при Self-Eval — 67.8, спрямо 86.2 за референтно хранилище, създадено от хора. Най-голямото изоставане е при търсенето: GPT-5.5 достига 52.6 в BrowseComp при 92.2 за референцията. Моделите изравняват или надминават референтните резултати при писане и машинни експерименти, но изостават при код и търсене. Размерът на кода и броят самотестове почти не са свързани с качеството, а голяма част от кода за състояние, памет и писане не се изпълнява.

В Evolution са създадени 73 официални версии и 64 последователни промени. Всичките пет линии със собствен изпълнител се подобряват върху скрити задачи, но средният ръст е само 3.11 точки и не е постоянен. Обратната връзка и резултатите върху скритите задачи сочат в една посока само при 34 от 64 промени; ясни положителни доказателства има за две. Качеството зависи и от изпълнителя: резултатът на Opus 4.8 в SWE-bench Pro спада от 69.3 на 33.0 при замяна с Gemini 3.1 Pro.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини