Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← Към новините

CWE-bench v2 разширява публичното тестване на модели за киберсигурност

CWE-bench v2 представя публичен набор от 100 задачи за оценяване на изкуствени агенти при работа по сигурността на софтуера. Всяка задача използва реално хранилище с отворен код, кратка инструкция и цел — откриване и отстраняване на слабост, без да се нарушава съществуващата функционалност. Оценяването е програмно и детерминистично, което позволява възпроизвеждане на резултатите без допълнителни разходи. Задачите обхващат 91 категории CWE, а отделен скрит набор служи за проследяване на резултатите върху невиждани проблеми.

Collinear AI съобщава, че всяка задача е проверена за реалистични инструкции, достатъчна проверка и съвместимост с оригиналния софтуер. Всички задачи са прегледани и ръчно. Публични са наборът, оценяващият механизъм и изпълнителната среда, като се приемат обратна връзка и приноси. Резултатите се публикуват в класации за модели с отворени тегла и за модели, достъпни само чрез API.

Сред 11 оценени системи Gemini 4 Argon постига 67,8% pass@1 и 81,0% pass@4, малко пред Claude Opus 5.5 съответно с 67,3% и 78,0%. Поне един модел е решил 95 задачи, но водещият модел не успява при 19% от задачите при всеки опит. Harbor може да стартира теста от хранилището на набора, след приемане на условията за достъп.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини