CWE-bench v2 разширява публичното тестване на модели за киберсигурност
CWE-bench v2 представя публичен набор от 100 задачи за оценяване на изкуствени агенти при работа по сигурността на софтуера. Всяка задача използва реално хранилище с отворен код, кратка инструкция и цел — откриване и отстраняване на слабост, без да се нарушава съществуващата функционалност. Оценяването е програмно и детерминистично, което позволява възпроизвеждане на резултатите без допълнителни разходи. Задачите обхващат 91 категории CWE, а отделен скрит набор служи за проследяване на резултатите върху невиждани проблеми.
Collinear AI съобщава, че всяка задача е проверена за реалистични инструкции, достатъчна проверка и съвместимост с оригиналния софтуер. Всички задачи са прегледани и ръчно. Публични са наборът, оценяващият механизъм и изпълнителната среда, като се приемат обратна връзка и приноси. Резултатите се публикуват в класации за модели с отворени тегла и за модели, достъпни само чрез API.
Сред 11 оценени системи Gemini 4 Argon постига 67,8% pass@1 и 81,0% pass@4, малко пред Claude Opus 5.5 съответно с 67,3% и 78,0%. Поне един модел е решил 95 задачи, но водещият модел не успява при 19% от задачите при всеки опит. Harbor може да стартира теста от хранилището на набора, след приемане на условията за достъп.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.