Британський AISI публікує відтворювані оцінювання через EvalEval
Британський AI Security Institute (AISI) використовує інфраструктуру EvalEval, щоб публікувати методи й результати оцінювань у більш відтворюваному форматі. Про співпрацю оголосили 22 вересня 2026 року. Вона продовжує спільні дослідження, започатковані на семінарі, що відбувся паралельно з NeurIPS 2025. Відгуки AISI також допомогли сформувати схему Every Eval Ever (EEE).
У Evaluation Cards AISI оприлюднив перевірені результати, дані про налаштування та контекст для п’яти бенчмарків з основного експерименту статті How Inference Compute Shapes Frontier LLM Evaluation: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro і Terminal-Bench 2.0. Дані охоплюють Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 і GPT-5.4. Також додано два пов’язані кібероцінювання — Cyber CTFs і The Last Ones — з іншим, частково спільним набором моделей.
За словами організацій, відкриті відомості про процедуру дають змогу порівнювати дослідження та аналізувати вплив протоколів оцінювання й обчислень під час виведення на показники. EEE та Evaluation Cards мають уніфікувати подання таких даних.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.