Sakhanda Wire
NVDA $153.93 -1.41% MSFT $506.53 -2.21% GOOGL $280.96 -0.97% META $620.53 -0.94% AMZN $256.87 -0.34%
← К новостям

Британский AISI публикует воспроизводимые оценки через EvalEval

Британский AI Security Institute (AISI) использует инфраструктуру EvalEval для публикации методов и результатов оценивания в более воспроизводимом формате. О сотрудничестве объявили 22 сентября 2026 года. Оно продолжает совместные исследования, начатые на семинаре, проходившем параллельно с NeurIPS 2025. Отзывы AISI также помогли сформировать схему Every Eval Ever (EEE).

В Evaluation Cards AISI разместил проверенные результаты, сведения о настройках и контекст для пяти бенчмарков из основного эксперимента статьи How Inference Compute Shapes Frontier LLM Evaluation: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro и Terminal-Bench 2.0. Данные относятся к Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4. В публикацию также вошли две связанные кибероценки — Cyber CTFs и The Last Ones, использующие другой, частично пересекающийся набор моделей.

По словам организаций, открытые сведения о процедуре позволяют сопоставлять исследования и изучать влияние протоколов оценивания и вычислений во время вывода на показатели. Схема EEE и Evaluation Cards предназначены для унификации представления таких данных.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости