Artificial Analysis полностью переработила свой Индекс интеллекта после скептицизма вокруг оценки GPT-6 Astra

Artificial Analysis выпустила версию 4.2 своего Intelligence Index, вероятно, в ответ на критику, согласно которой ее бенчмарки не смогли отразить реальный прогресс GPT-6 Astra.

Ранее несколько оценок, включая собственную оценку OpenAI, поставили Astra значительно выше остальных моделей. Epoch AI заняла с ней первое место среди 267 моделей, присудив 169 баллов по результатам более чем 50 бенчмарков, а ARC-AGI-3 показал большой или очень большой скачок — в зависимости от используемого тестового окружения. Artificial Analysis оценила Astra лишь на уровне ее предшественницы.

Согласно обновленному индексу, GPT-6 Astra теперь опережает свою предшественницу на четыре балла. Claude Fable 5.1 от Anthropic по-прежнему возглавляет рейтинг, за ней следуют Astra на втором месте и Meta на третьем. По данным Artificial Analysis, Astra также использует на каждую задачу меньше токенов, чем любая другая передовая модель. По соотношению стоимости и производительности лидируют сразу Anthropic, OpenAI, Meta и Zhipu AI.

В индекс добавлены два новых бенчмарка: AA-Briefcase для рабочих задач, связанных с реальными знаниями, и GDP.pdf от Surge AI для анализа PDF-документов. GPQA-Diamond исключен, поскольку модели уже научились его проходить. Теперь частные тестовые данные составляют 40 процентов взвешенной оценки, чтобы усложнить накрутку результатов. Artificial Analysis также исправила ошибки подсчета в нескольких бенчмарках и доработала системы оценивания для получения более стабильных результатов.

В Artificial Analysis заявляют, что откладывали обновления, чтобы сохранять стабильность оценок во время крупных запусков моделей, однако верхняя часть таблицы лидеров менялась настолько быстро, что потребовалось промежуточное обновление. По словам компании, версия 5 разрабатывается уже восемь месяцев и будет выпускаться поэтапно.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.