Sakhanda Wire
NVDA $153.93 -1.41% MSFT $506.53 -2.21% GOOGL $280.96 -0.97% META $620.53 -0.94% AMZN $256.87 -0.34%
← Към новините

Британският AISI публикува възпроизводими оценки чрез EvalEval

Британският AI Security Institute (AISI) използва инфраструктурата на EvalEval, за да публикува методи и резултати от оценки в по-възпроизводим формат. Сътрудничеството, обявено на 22 септември 2026 г., следва съвместни изследвания, започнали на семинар, проведен заедно с NeurIPS 2025. Обратната връзка от AISI е помогнала и за разработването на схемата Every Eval Ever (EEE).

Чрез Evaluation Cards AISI публикува проверени резултати, настройки и контекст за пет бенчмарка от основния експеримент в своята статия How Inference Compute Shapes Frontier LLM Evaluation: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro и Terminal-Bench 2.0. Данните обхващат Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4. Добавени са и две свързани кибероценки — Cyber CTFs и The Last Ones — с различен, частично припокриващ се набор от модели.

Според организациите публичната информация за конфигурациите улеснява сравняването на изследвания и анализа на влиянието на протоколите и изчисленията при извеждане върху резултатите. EEE и Evaluation Cards целят да уеднаквят отчитането на оценките.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини