Artificial Analysis преработи своя Индекс на интелигентността след скептицизъм към оценяването на GPT-6 Astra

Artificial Analysis публикува версия 4.2 на своя Intelligence Index, вероятно в отговор на критиките, че бенчмарковете му не са успели да отразят реалния напредък на GPT-6 Astra.

По-рано няколко оценки, включително собствената на OpenAI, поставиха Astra значително пред останалите. Epoch AI я класира на първо място сред 267 модела със 169 точки в над 50 бенчмарка, а ARC-AGI-3 показа голям до много голям скок в зависимост от използвания набор инструменти. Artificial Analysis оцени Astra само наравно с предшественика ѝ.

С актуализирания индекс GPT-6 Astra вече показва преднина от четири точки пред своя предшественик. Claude Fable 5.1 на Anthropic все още оглавява класацията, следван от Astra на второ място и Meta на трето. Според Artificial Analysis Astra използва и по-малко токени за задача от всеки друг водещ модел. По съотношение между цена и производителност Anthropic, OpenAI, Meta и Zhipu AI си поделят първото място.

Индексът добавя два нови бенчмарка: AA-Briefcase за работа със знания в реалния свят и GDP.pdf от Surge AI за анализ на PDF документи. GPQA-Diamond е премахнат, тъй като моделите са го решили. Частните тестови данни вече съставляват 40 процента от тежестта, за да се затрудни манипулирането на резултатите. Artificial Analysis също така поправи грешки при оценяването в няколко бенчмарка и коригира системите си за оценка за по-стабилни резултати.

Artificial Analysis заявява, че е отложила актуализациите, за да запази стабилността на резултатите по време на пускането на големи модели, но върхът на класацията се е променил толкова бързо, че е била необходима междинна актуализация. Версия 5 се разработва от осем месеца и ще бъде внедрена поетапно, посочва компанията.

Новини за изкуствения интелект без сензации – подбрани от хора

Абонирайте се за THE DECODER, за да четете без реклами, да получавате седмичен бюлетин за изкуствения интелект, нашия ексклузивен водещ доклад „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.