Новият индекс на Artificial Analysis увеличава разликата между отворените и затворените модели

Artificial Analysis преработи своя Intelligence Index, което доведе до спад на Kimi K3.1 Pro с пет места в класацията. Моделът първоначално стартира на четвърто място, но в версия 5 пада до девето, зад осем затворени модела. Сега Artificial Analysis поставя разликата между отворените модели и върха на класацията на 12 точки спрямо 3 точки преди.

За първи път 60 процента от индекса се основават на частни тестови набори, за да се предотврати „benchmaxxing“ – практиката за обучение на модели специално върху известни тестови въпроси. Спадът на Kimi K3.1 Pro подсказва, че старият индекс е карал някои модели да изглеждат по-добри, отколкото са били. Grok 4.7 също загуби 12 точки.

Изследователят на ИИ Nathan Lambert смята, че benchmaxxing е само част от историята. Днес много от подобренията при обучението се случват в среди за обучение с подсилване със задачи, подобни на тези в бенчмарковете. Поддържането на високо ниво едновременно в множество области изисква сложна инфраструктура за обучение с подсилване, а не всяка лаборатория разполага с такава.

Затворените тестови набори имат и недостатък, тъй като външни хора вече не могат да откриват грешки във формулировките. Тестът за познания AA-Omniscience доказва, че такива грешки съществуват. Artificial Analysis трябваше да преработи двусмислените и погрешните въпроси в този бенчмарк за новия индекс.

Новини за ИИ без сензации – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен информационен бюлетин за ИИ, нашия ексклузивен шест пъти годишно доклад „AI Radar“ за водещите разработки, пълен достъп до архива и достъп до секцията за коментари.