Новий індекс Artificial Analysis збільшує розрив між відкритими та закритими моделями

Artificial Analysis оновила свій Intelligence Index, через що Kimi K3.1 Pro опустилася на п’ять позицій у рейтингу. Спочатку модель посіла четверте місце, але у версії 5 вона опустилася на дев’яте, опинившись позаду восьми закритих моделей. Тепер Artificial Analysis оцінює розрив між відкритими моделями та лідером рейтингу у 12 балів — раніше він становив 3 бали.

Уперше 60 відсотків індексу спирається на закриті набори тестів, щоб запобігти «benchmaxxing» — практиці спеціального навчання моделей на відомих тестових запитаннях. Падіння Kimi K3.1 Pro свідчить, що старий індекс міг створювати враження, ніби деякі моделі кращі, ніж вони є насправді. Grok 4.7 також втратила 12 балів.

Дослідник ШІ Натан Ламберт вважає, що benchmaxxing — лише частина пояснення. Сьогодні багато покращень під час навчання відбуваються в середовищах навчання з підкріпленням, де використовуються завдання, подібні до бенчмарків. Одночасно підтримувати високі результати в багатьох сферах потребує складної інфраструктури для навчання з підкріпленням, і не кожна лабораторія нею володіє.

Закриті набори тестів мають і недолік, адже сторонні спостерігачі більше не можуть виявляти помилки у запитаннях. Тест на знання AA-Omniscience доводить, що такі помилки існують. Для нового індексу Artificial Analysis довелося переглянути неоднозначні та некоректні запитання в цьому бенчмарку.

Новини ШІ без хайпу — добірка від людей

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.