Новий тест виявив слабке візуальне сприйняття провідних ШІ-моделей
Moonshot AI представила PerceptionBench — тест для оцінювання візуального сприйняття мультимодальних мовних моделей без логічних міркувань і зовнішніх знань. Він охоплює десять навичок, визначених на основі реальних помилок моделей: візуальні відношення, підрахунок, атрибути, глибина й 3D, локалізація, порівняння, детальне розпізнавання, інтеграція контексту, OCR і галюцинації.
Опублікована версія містить 3000 завдань із внутрішнього набору, що налічує понад 17 000 перевірених запитань. Шістдесят відсотків завдань створено на основі зафіксованих помилок моделей, а решту переформульовано за допомогою змінених зображень. Серед перевірок — визначення положення символу на циферблаті, підрахунок квітів у коробці та розрізнення схожих підставок для олівців.
Жодна з 16 протестованих передових моделей не досягла 60% точності. GPT-5.6 Sol посіла перше місце з результатом 59,7%, далі йдуть Kimi K3 із 58,5%, Claude Fable 5 із 57,2% та Gemini 3.1 Pro із 56,2%. GPT-5.5 набрала 55,8%, Qwen3.5-397B-A17B — 47,5%, а GLM-4.6V — 32,5%. Автори вважають, що багато помилок, які приписують міркуванню, виникають уже під час неправильного прочитання зображення. У середньому найслабшою категорією виявилися галюцинації.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.