Artificial Analysis обновила индекс после споров о результатах GPT-6 Astra
Artificial Analysis выпустила версию 4.2 своего Intelligence Index после критики о том, что прежняя методика не показала реальный прогресс GPT-6 Astra. Более ранние оценки, включая собственную оценку OpenAI, ставили Astra заметно выше конкурентов. Epoch AI назвала модель лидером среди 267 моделей: она набрала 169 баллов более чем в 50 тестах. ARC-AGI-3 также зафиксировал большой или очень большой прирост в зависимости от использованного инструмента тестирования.
В обновлённом индексе Astra получила на четыре балла больше своего предшественника Sol. Claude Fable 5.1 от Anthropic сохранила первое место, Astra заняла второе, а Meta — третье. По данным Artificial Analysis, Astra расходует на задачу меньше токенов, чем любая другая передовая модель. По соотношению стоимости и результатов лидируют сразу Anthropic, OpenAI, Meta и Zhipu AI.
В индекс добавлены AA-Briefcase для практической интеллектуальной работы и GDP.pdf от Surge AI для анализа PDF-документов. GPQA-Diamond исключили, поскольку модели уже решили этот тест. Доля закрытых тестовых данных выросла до 40%, а ошибки подсчёта в нескольких тестах были исправлены. Версия 5 разрабатывается уже восемь месяцев и будет выпускаться поэтапно.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.