Новый бенчмарк подтверждает: модели ИИ по-прежнему плохо справляются с визуальным восприятием

PerceptionBench от Moonshot AI проверяет, насколько хорошо мультимодальные модели ИИ действительно могут «видеть», отдельно от логического мышления. Ни одна передовая модель не достигает точности в 60 процентов, а GPT-5.6 Sol лидирует с небольшим отрывом. Многие предполагаемые ошибки рассуждения на самом деле происходят уже на этапе чтения изображения.

Команда, стоящая за китайским ИИ-ассистентом Kimi, представила PerceptionBench — бенчмарк, который изолированно проверяет визуальное восприятие мультимодальных языковых моделей. В отличие от стандартных методов тестирования, PerceptionBench разбивает зрение на десять базовых навыков, вместо того чтобы объединять восприятие, знания и рассуждение в одну задачу. На каждый вопрос можно ответить, просто посмотрев на изображение, без рассуждений и внешних знаний.

Категории, основанные на реальных ошибках, а не на теории

Авторы объясняют свой подход тем, что существующие бенчмарки охватывают лишь узкий спектр ошибок восприятия. Проанализированные ими 42 бенчмарка с открытым исходным кодом демонстрируют небольшое пересечение профилей ошибок, поэтому каждый из них охватывает отдельное подмножество визуальных слабостей. Ни одного теста или небольшой группы тестов оказалось недостаточно для полноценной оценки визуального восприятия.

Вместо того чтобы заранее определять категории, авторы построили свою таксономию на основе фактических ошибок моделей и проследили каждую из них до самого раннего этапа сбоя в существующих бенчмарках. В результате получилось десять «областей навыков»: визуальные отношения, подсчёт, атрибуты, глубина и 3D, локализация, сравнение, детальное распознавание, интеграция контекста, OCR и галлюцинации.

Из внутреннего набора, включающего более 17 000 проверенных вопросов, Moonshot AI публикует 3 000 задач. Шестьдесят процентов из них были созданы на основе зафиксированных ошибок моделей, а 40 процентов — переформулированы с использованием дополненных изображений. На первый взгляд задачи кажутся тривиальными: определить, где находится символ на циферблате часов, посчитать цветы внутри красной коробки или решить, какая из двух подставок для карандашей демонстрирует сочетание серого и розового цветов, а какая — сплошной розовый цвет с мультяшным рисунком.

Ни одна модель не преодолела отметку в 60 процентов

Среди 16 протестированных передовых моделей наивысшая общая точность составила 59,7 процента — этот результат показала GPT-5.6 Sol. Далее следуют Kimi K3 с 58,5 процента, Claude Fable 5 с 57,2 процента и Gemini 3.1 Pro с 56,2 процента. GPT-5.5 набрала 55,8 процента. Модели с открытым исходным кодом, такие как Qwen3.5-397B-A17B (47,5 процента) и GLM-4.6V (32,5 процента), значительно отстают.

Результаты по отдельным категориям более показательны, чем общий рейтинг. Модели с почти одинаковыми совокупными баллами резко различаются в отдельных категориях. В среднем «галлюцинации» оказались самым слабым навыком у всех моделей. GPT-5.6 Sol набрала там лишь 26,9 процента, несмотря на первое место в общем зачёте, тогда как более слабая Gemini 3.5 Flash вошла в число лучших с результатом 50,6 процента. Этот подтест проверяет, придумывают ли модели несуществующие объекты, когда правильный ответ — просто «ноль».

Многие «ошибки рассуждения» на самом деле являются сбоями восприятия

Авторы утверждают, что многие сбои мультимодальных моделей, которые обычно списывают на «ошибки рассуждения», на самом деле происходят на уровне восприятия. Когда модель неверно выполняет многоэтапную задачу, первый шаг — правильное чтение изображения — часто уже оказывается ошибочным.

PerceptionBench разбивает такие вопросы на подвопросы, касающиеся только восприятия, что позволяет точно определить, какая именно визуальная способность дала сбой. Датасет и код оценки доступны на GitHub: MoonshotAI/PerceptionBench.

Хорошо известная проблема, в решении которой почти нет прогресса

Moonshot AI разрабатывает модель с открытым исходным кодом Kimi K3, которая сократила отставание от Claude Fable 5 и GPT-5.6 Sol до нескольких пунктов в общих бенчмарках. K3 по-прежнему значительно отстаёт в специализированных областях, таких как наступательная кибербезопасность и сложная математика. В области визуального восприятия K3 теперь демонстрирует результаты на уровне западных конкурентов.

Та же исследовательская команда ранее выпустила WorldVQA — бенчмарк, отделяющий распознавание объектов от рассуждения. Лучшая модель в нём, Gemini 3 Pro, не достигла 50 процентов, набрав 47,4 процента, а все модели систематически переоценивали собственную уверенность.

В отдельном исследовании китайских учреждений при участии Moonshot AI использовался бенчмарк BabyVision, чтобы показать, что передовые модели не справляются с базовыми визуальными задачами, связанными с развитием в раннем детстве, такими как обведение линий или подсчёт скрытых блоков. Gemini 3 Pro набрала в этих задачах 49,7 процента, тогда как люди — 94,1 процента. Исследователи объясняют этот разрыв узким местом вербализации, при котором визуальная информация преобразуется в язык и теряет точность.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.