Нов тест показва сериозни слабости във визуалното възприятие на ИИ
Moonshot AI представи PerceptionBench — тест, който измерва визуалното възприятие на мултимодалните езикови модели, без да изисква логическо разсъждение или външни знания. Оценяват се десет умения, изведени от реални грешки на моделите: визуални отношения, броене, атрибути, дълбочина и 3D, локализация, сравнение, детайлно разпознаване, интегриране на контекст, OCR и халюцинации.
Публикуваната версия включва 3000 въпроса от вътрешна колекция с над 17 000 проверени задачи. Шейсет процента са създадени въз основа на документирани грешки на модели, а останалите са преформулирани чрез променени изображения. Сред примерите са определяне на позиция на символ върху циферблат, преброяване на цветя в кутия и разграничаване на сходни поставки за моливи.
Нито един от 16-те тествани водещи модела не достига 60% точност. GPT-5.6 Sol е начело с 59,7%, следван от Kimi K3 с 58,5%, Claude Fable 5 с 57,2% и Gemini 3.1 Pro с 56,2%. GPT-5.5 получава 55,8%. Qwen3.5-397B-A17B достига 47,5%, а GLM-4.6V — 32,5%. Авторите смятат, че много привидни грешки в разсъждението започват с неправилно разчитане на изображението. Средно най-слабата категория е халюцинацията.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.