Британский AISI публикует воспроизводимые оценки через EvalEval
Британский AI Security Institute (AISI) использует инфраструктуру EvalEval для публикации методов и результатов оценивания в более воспроизводимом формате. О сотрудничестве объявили 22 сентября 2026 года. Оно продолжает совместные исследования, начатые на семинаре, проходившем параллельно с NeurIPS 2025. Отзывы AISI также помогли сформировать схему Every Eval Ever (EEE).
В Evaluation Cards AISI разместил проверенные результаты, сведения о настройках и контекст для пяти бенчмарков из основного эксперимента статьи How Inference Compute Shapes Frontier LLM Evaluation: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro и Terminal-Bench 2.0. Данные относятся к Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4. В публикацию также вошли две связанные кибероценки — Cyber CTFs и The Last Ones, использующие другой, частично пересекающийся набор моделей.
По словам организаций, открытые сведения о процедуре позволяют сопоставлять исследования и изучать влияние протоколов оценивания и вычислений во время вывода на показатели. Схема EEE и Evaluation Cards предназначены для унификации представления таких данных.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.