Новый индекс Artificial Analysis увеличивает разрыв между открытыми и закрытыми моделями

Artificial Analysis переработала свой индекс Intelligence Index, из-за чего Kimi K3.1 Pro опустилась на пять позиций в рейтинге. Изначально модель заняла четвертое место, но в версии 5 она опустилась на девятое, уступив восьми закрытым моделям. Теперь Artificial Analysis оценивает разрыв между открытыми моделями и лидером рейтинга в 12 баллов против 3 баллов ранее.

Впервые 60 процентов индекса опираются на закрытые тестовые наборы, чтобы предотвратить «benchmaxxing» — практику обучения моделей специально на известных тестовых вопросах. Падение Kimi K3.1 Pro говорит о том, что прежний индекс мог создавать более благоприятное впечатление о некоторых моделях, чем они того заслуживали. Grok 4.7 также потеряла 12 баллов.

Исследователь ИИ Натан Ламберт считает, что benchmaxxing — лишь часть объяснения. Сегодня многие успехи в обучении достигаются в средах с подкреплением, где используются задачи, похожие на бенчмарки. Чтобы одновременно поддерживать высокий уровень в нескольких областях, нужна сложная инфраструктура для обучения с подкреплением, которой располагают не все лаборатории.

У закрытых тестовых наборов есть и недостаток: посторонние больше не могут обнаруживать ошибки в формулировках заданий. Тест знаний AA-Omniscience доказывает, что такие ошибки существуют. Для нового индекса Artificial Analysis пришлось пересмотреть неоднозначные и ошибочные вопросы в этом бенчмарке.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный годовой отчет о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.