Sakhanda Wire
NVDA $153.93 -1.41% MSFT $506.53 -2.21% GOOGL $280.96 -0.97% META $620.53 -0.94% AMZN $256.87 -0.34%
← До новин

Британський AISI публікує відтворювані оцінювання через EvalEval

Британський AI Security Institute (AISI) використовує інфраструктуру EvalEval, щоб публікувати методи й результати оцінювань у більш відтворюваному форматі. Про співпрацю оголосили 22 вересня 2026 року. Вона продовжує спільні дослідження, започатковані на семінарі, що відбувся паралельно з NeurIPS 2025. Відгуки AISI також допомогли сформувати схему Every Eval Ever (EEE).

У Evaluation Cards AISI оприлюднив перевірені результати, дані про налаштування та контекст для п’яти бенчмарків з основного експерименту статті How Inference Compute Shapes Frontier LLM Evaluation: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro і Terminal-Bench 2.0. Дані охоплюють Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 і GPT-5.4. Також додано два пов’язані кібероцінювання — Cyber CTFs і The Last Ones — з іншим, частково спільним набором моделей.

За словами організацій, відкриті відомості про процедуру дають змогу порівнювати дослідження та аналізувати вплив протоколів оцінювання й обчислень під час виведення на показники. EEE та Evaluation Cards мають уніфікувати подання таких даних.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини