Artificial Analysis оновила індекс після сумнівів щодо GPT-6 Astra
Artificial Analysis випустила версію 4.2 свого Intelligence Index після критики, що попередня методика не відобразила реальний прогрес GPT-6 Astra. Раніші оцінювання, зокрема проведене OpenAI, ставили Astra значно вище за конкурентів. Epoch AI назвала модель першою серед 267 моделей: вона набрала 169 балів у понад 50 тестах. ARC-AGI-3 також зафіксував великий або дуже великий стрибок залежно від використаного інструмента тестування.
В оновленому індексі Astra отримала на чотири бали більше за свого попередника Sol. Claude Fable 5.1 від Anthropic залишилася лідером, Astra посіла друге місце, а Meta — третє. За даними Artificial Analysis, Astra використовує для виконання завдання менше токенів, ніж будь-яка інша передова модель. За співвідношенням вартості та результативності лідирують Anthropic, OpenAI, Meta і Zhipu AI.
До індексу додали AA-Briefcase для роботи з реальними професійними завданнями та GDP.pdf від Surge AI для аналізу PDF-документів. GPQA-Diamond вилучили, оскільки моделі вже розв’язали цей тест. Частка закритих тестових даних зросла до 40%, а помилки підрахунку в кількох тестах виправили. Версію 5 розробляють уже вісім місяців і випускатимуть поетапно.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.