Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

CWE-bench v2 расширяет открытое тестирование моделей кибербезопасности

CWE-bench v2 представляет открытый набор из 100 заданий для оценки ИИ-агентов в работе с безопасностью программного обеспечения. В каждом задании используются реальный репозиторий с открытым исходным кодом, краткая инструкция и цель: найти и устранить уязвимость, сохранив имеющуюся функциональность. Оценка выполняется программно и детерминированно, поэтому результаты можно воспроизводить без дополнительных затрат. Задания охватывают 91 категорию CWE, а отдельный закрытый набор позволяет отслеживать результаты на ранее не виденных задачах.

По данным Collinear AI, каждое задание проверяли на реалистичность инструкции, достаточность критериев оценки и сохранение исходного поведения программы. Все задания также прошли ручную проверку. Набор, проверяющий механизм и среда запуска опубликованы открыто; разработчики приглашают сообщать о проблемах и вносить изменения. Результаты доступны в отдельных рейтингах для моделей с открытыми весами и моделей, работающих только через API.

Среди 11 протестированных систем Gemini 4 Argon получил 67,8% pass@1 и 81,0% pass@4, немного опередив Claude Opus 5.5 с показателями 67,3% и 78,0%. Хотя бы одна модель решила 95 заданий, однако лидер не справлялся с 19% набора при каждой попытке. Запустить тест можно через Harbor из репозитория датасета после принятия условий доступа.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости