CWE-bench v2 розширює відкрите тестування моделей кібербезпеки
CWE-bench v2 містить відкритий набір зі 100 завдань для оцінювання ШІ-агентів у роботі з безпекою програмного забезпечення. Кожне завдання використовує реальний репозиторій із відкритим кодом, коротку інструкцію та мету: знайти й усунути слабке місце, не порушивши наявної функціональності. Оцінювання відбувається програмно й детерміновано, тому результати можна відтворити без додаткових витрат. Завдання охоплюють 91 категорію CWE, а окремий закритий набір дає змогу відстежувати прогрес на невідомих моделям проблемах.
За даними Collinear AI, кожне завдання перевіряли на реалістичність інструкції, достатність критеріїв оцінювання та збереження початкової роботи програми. Усі завдання також пройшли ручну перевірку. Набір, оцінювач і середовище запуску відкриті для користувачів; автори приймають відгуки та внески. Результати публікують у рейтингах для моделей із відкритими вагами й моделей, доступних лише через API.
Серед 11 оцінених систем Gemini 4 Argon показала 67,8% pass@1 і 81,0% pass@4, трохи випередивши Claude Opus 5.5 із 67,3% та 78,0%. Щонайменше одна модель розв’язала 95 завдань, але навіть лідер не виконує 19% набору під час кожної спроби. Запустити тест можна через Harbor із репозиторію датасету після прийняття умов доступу.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.