Британският AISI публикува възпроизводими оценки чрез EvalEval
Британският AI Security Institute (AISI) използва инфраструктурата на EvalEval, за да публикува методи и резултати от оценки в по-възпроизводим формат. Сътрудничеството, обявено на 22 септември 2026 г., следва съвместни изследвания, започнали на семинар, проведен заедно с NeurIPS 2025. Обратната връзка от AISI е помогнала и за разработването на схемата Every Eval Ever (EEE).
Чрез Evaluation Cards AISI публикува проверени резултати, настройки и контекст за пет бенчмарка от основния експеримент в своята статия How Inference Compute Shapes Frontier LLM Evaluation: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro и Terminal-Bench 2.0. Данните обхващат Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4. Добавени са и две свързани кибероценки — Cyber CTFs и The Last Ones — с различен, частично припокриващ се набор от модели.
Според организациите публичната информация за конфигурациите улеснява сравняването на изследвания и анализа на влиянието на протоколите и изчисленията при извеждане върху резултатите. EEE и Evaluation Cards целят да уеднаквят отчитането на оценките.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.