Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← Към новините

Нов тест показва сериозни слабости във визуалното възприятие на ИИ

Moonshot AI представи PerceptionBench — тест, който измерва визуалното възприятие на мултимодалните езикови модели, без да изисква логическо разсъждение или външни знания. Оценяват се десет умения, изведени от реални грешки на моделите: визуални отношения, броене, атрибути, дълбочина и 3D, локализация, сравнение, детайлно разпознаване, интегриране на контекст, OCR и халюцинации.

Публикуваната версия включва 3000 въпроса от вътрешна колекция с над 17 000 проверени задачи. Шейсет процента са създадени въз основа на документирани грешки на модели, а останалите са преформулирани чрез променени изображения. Сред примерите са определяне на позиция на символ върху циферблат, преброяване на цветя в кутия и разграничаване на сходни поставки за моливи.

Нито един от 16-те тествани водещи модела не достига 60% точност. GPT-5.6 Sol е начело с 59,7%, следван от Kimi K3 с 58,5%, Claude Fable 5 с 57,2% и Gemini 3.1 Pro с 56,2%. GPT-5.5 получава 55,8%. Qwen3.5-397B-A17B достига 47,5%, а GLM-4.6V — 32,5%. Авторите смятат, че много привидни грешки в разсъждението започват с неправилно разчитане на изображението. Средно най-слабата категория е халюцинацията.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от The Decoder на

Прочетете оригинала в The Decoder ↗

Репортажът и изображението принадлежат на The Decoder и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини