Artificial Analysis обнови индекса си след съмнения около GPT-6 Astra
Artificial Analysis публикува версия 4.2 на своя Intelligence Index след критики, че предишните тестове не са отразили действителния напредък на GPT-6 Astra. По-ранни оценки, включително на OpenAI, поставиха Astra значително пред останалите модели. Epoch AI го класира на първо място сред 267 модела със 169 точки в повече от 50 теста, а ARC-AGI-3 отчете голям до много голям скок според използвания тестов инструмент.
В новата версия Astra получава четири точки повече от предшественика си Sol. Claude Fable 5.1 на Anthropic остава лидер, Astra е на второ място, а Meta е трета. По данни на Artificial Analysis Astra използва по-малко токени за задача от всеки друг водещ модел. При съотношението между цена и производителност първото място е споделено от Anthropic, OpenAI, Meta и Zhipu AI.
Индексът вече включва AA-Briefcase за работа със знания от реалния свят и GDP.pdf на Surge AI за анализ на PDF документи. GPQA-Diamond е отпаднал, тъй като моделите са го решили. Частните тестови данни вече имат 40% тежест, а са поправени и грешки в няколко оценки. Версия 5 се разработва от осем месеца и ще бъде въведена поетапно.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.