Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← К новостям

Новый тест выявил слабое визуальное восприятие ведущих ИИ-моделей

Moonshot AI представила PerceptionBench — тест для оценки визуального восприятия мультимодальных языковых моделей без логических рассуждений и внешних знаний. Он включает десять навыков, выделенных на основе реальных ошибок моделей: визуальные отношения, подсчёт, атрибуты, глубина и 3D, локализация, сравнение, детальное распознавание, интеграция контекста, OCR и галлюцинации.

В опубликованную версию вошли 3000 заданий из внутреннего набора, насчитывающего более 17 000 проверенных вопросов. Шестьдесят процентов были основаны на зафиксированных ошибках моделей, а остальные переработаны с использованием изменённых изображений. Задания проверяют, например, положение символа на циферблате, количество цветов внутри коробки и различия между похожими подставками для карандашей.

Ни одна из 16 протестированных передовых моделей не преодолела отметку в 60%. GPT-5.6 Sol заняла первое место с результатом 59,7%, за ней следуют Kimi K3 с 58,5%, Claude Fable 5 с 57,2% и Gemini 3.1 Pro с 56,2%. GPT-5.5 набрала 55,8%, Qwen3.5-397B-A17B — 47,5%, а GLM-4.6V — 32,5%. Авторы считают, что многие ошибки, которые относят к рассуждению, возникают уже при неверном чтении изображения. Самой слабой категорией в среднем оказались галлюцинации.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости