Artificial Analysis обновява индекса си след съмнения около GPT-6 Astra
Artificial Analysis публикува версия 4.2 на своя Intelligence Index след критики, че предишната методика не е отчела реалния напредък на GPT-6 Astra. По-ранни оценки, включително на OpenAI, поставиха модела значително пред конкурентите. Epoch AI го класира на първо място сред 267 модела със 169 точки в над 50 теста, а ARC-AGI-3 отчете голям или много голям скок според използвания тестов инструмент.
В обновения индекс Astra получава четири точки повече от предшественика си Sol. Claude Fable 5.1 на Anthropic остава начело, Astra е втори, а Meta заема третото място. Според Artificial Analysis Astra използва по-малко токени за задача от всички други водещи модели. По съотношение между цена и резултат лидерството е поделено от Anthropic, OpenAI, Meta и Zhipu AI.
Версия 4.2 добавя тестовете AA-Briefcase за реална работа със знания и GDP.pdf на Surge AI за анализ на PDF документи. GPQA-Diamond е премахнат, тъй като моделите са го решили. Частните тестови данни вече формират 40% от оценката, а са коригирани и грешки в изчисленията. Версия 5 се разработва от осем месеца и ще бъде внедрявана поетапно.
Written by Sakhanda Wire AI from reporting by The Decoder. Facts, quotes and full context are in the original article below.