Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← К новостям

Artificial Analysis обновила индекс после споров о результатах GPT-6 Astra

Artificial Analysis выпустила версию 4.2 своего Intelligence Index после критики о том, что прежняя методика не показала реальный прогресс GPT-6 Astra. Более ранние оценки, включая собственную оценку OpenAI, ставили Astra заметно выше конкурентов. Epoch AI назвала модель лидером среди 267 моделей: она набрала 169 баллов более чем в 50 тестах. ARC-AGI-3 также зафиксировал большой или очень большой прирост в зависимости от использованного инструмента тестирования.

В обновлённом индексе Astra получила на четыре балла больше своего предшественника Sol. Claude Fable 5.1 от Anthropic сохранила первое место, Astra заняла второе, а Meta — третье. По данным Artificial Analysis, Astra расходует на задачу меньше токенов, чем любая другая передовая модель. По соотношению стоимости и результатов лидируют сразу Anthropic, OpenAI, Meta и Zhipu AI.

В индекс добавлены AA-Briefcase для практической интеллектуальной работы и GDP.pdf от Surge AI для анализа PDF-документов. GPQA-Diamond исключили, поскольку модели уже решили этот тест. Доля закрытых тестовых данных выросла до 40%, а ошибки подсчёта в нескольких тестах были исправлены. Версия 5 разрабатывается уже восемь месяцев и будет выпускаться поэтапно.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости