Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← До новин

CWE-bench v2 розширює відкрите тестування моделей кібербезпеки

CWE-bench v2 містить відкритий набір зі 100 завдань для оцінювання ШІ-агентів у роботі з безпекою програмного забезпечення. Кожне завдання використовує реальний репозиторій із відкритим кодом, коротку інструкцію та мету: знайти й усунути слабке місце, не порушивши наявної функціональності. Оцінювання відбувається програмно й детерміновано, тому результати можна відтворити без додаткових витрат. Завдання охоплюють 91 категорію CWE, а окремий закритий набір дає змогу відстежувати прогрес на невідомих моделям проблемах.

За даними Collinear AI, кожне завдання перевіряли на реалістичність інструкції, достатність критеріїв оцінювання та збереження початкової роботи програми. Усі завдання також пройшли ручну перевірку. Набір, оцінювач і середовище запуску відкриті для користувачів; автори приймають відгуки та внески. Результати публікують у рейтингах для моделей із відкритими вагами й моделей, доступних лише через API.

Серед 11 оцінених систем Gemini 4 Argon показала 67,8% pass@1 і 81,0% pass@4, трохи випередивши Claude Opus 5.5 із 67,3% та 78,0%. Щонайменше одна модель розв’язала 95 завдань, але навіть лідер не виконує 19% набору під час кожної спроби. Запустити тест можна через Harbor із репозиторію датасету після прийняття умов доступу.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини