Artificial Analysis докорінно оновила свій Індекс інтелекту після скепсису щодо оцінювання GPT-6 Astra

Artificial Analysis випустила версію 4.2 свого Intelligence Index, імовірно у відповідь на критику, що її бенчмарки не змогли відобразити реальний прогрес GPT-6 Astra.

Раніше кілька оцінювань, зокрема власне оцінювання OpenAI, поставили Astra значно вище за інших. Epoch AI поставила її на перше місце серед 267 моделей із 169 балами за більш ніж 50 бенчмарками, а ARC-AGI-3 продемонстрував значний або дуже значний стрибок залежно від використаного тестового середовища. Artificial Analysis оцінила Astra лише на рівні її попередниці.

Згідно з оновленим індексом, GPT-6 Astra тепер має перевагу в чотири бали над своєю попередницею. Claude Fable 5.1 від Anthropic і далі очолює рейтинг, за нею йде Astra на другому місці, а Meta — на третьому. За даними Artificial Analysis, Astra також використовує менше токенів на завдання, ніж будь-яка інша передова модель. За співвідношенням вартості та продуктивності лідерство поділяють Anthropic, OpenAI, Meta та Zhipu AI.

До індексу додано два нові бенчмарки: AA-Briefcase для роботи зі знаннями в реальному світі та GDP.pdf від Surge AI для аналізу PDF-документів. GPQA-Diamond вилучено, оскільки моделі вже його подолали. Тепер приватні тестові дані становлять 40 відсотків ваги, щоб ускладнити маніпуляції результатами. Artificial Analysis також виправила помилки в оцінюванні для кількох бенчмарків і змінила свої системи оцінювання для стабільніших результатів.

Artificial Analysis заявляє, що відкладала оновлення, щоб зберігати стабільність оцінок під час запуску великих моделей, але верхівка таблиці лідерів змінювалася настільки швидко, що знадобилося проміжне оновлення. За її словами, над версією 5 працюють уже вісім місяців, і вона виходитиме поетапно.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові моделі «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.