XYBench проверява дали AI асистентите решават същинския проблем
Изследователи представиха XYBench — набор за оценяване с 8 115 въпроса от реалния свят, който проверява дали AI асистентите разпознават погрешни предположения и се насочват към действителната цел на потребителя. Въпросите обхващат програмиране и ежедневни дейности като готвене и домашни ремонти. XYBench получи наградата за най-добър ресурсен доклад на EMNLP 2026.
Наборът е разработен с изследователи от Carnegie Mellon, NVIDIA и Johns Hopkins. Той включва 1 557 въпроса от Stack Overflow, 184 от Stack Exchange, 102 ръчно подбрани примера и 6 272 въпроса, генерирани от ръководства в WikiHow. За всеки пример се разграничават буквално заявеното искане и намерението, което може да се изведе от контекста.
При тестове с Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro моделите по-често предлагаха решение на буквалния въпрос, отколкото на същинската цел. Във въпросите от Stack Overflow те поставяха основния акцент върху целта в 35–41% от отговорите, а върху заявеното искане — в 47–57%. Изследователите установиха и разлика между разпознаването на полезен съвет и реалното му прилагане в отговор.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.