Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← Към новините

XYBench проверява дали AI асистентите решават същинския проблем

Изследователи представиха XYBench — набор за оценяване с 8 115 въпроса от реалния свят, който проверява дали AI асистентите разпознават погрешни предположения и се насочват към действителната цел на потребителя. Въпросите обхващат програмиране и ежедневни дейности като готвене и домашни ремонти. XYBench получи наградата за най-добър ресурсен доклад на EMNLP 2026.

Наборът е разработен с изследователи от Carnegie Mellon, NVIDIA и Johns Hopkins. Той включва 1 557 въпроса от Stack Overflow, 184 от Stack Exchange, 102 ръчно подбрани примера и 6 272 въпроса, генерирани от ръководства в WikiHow. За всеки пример се разграничават буквално заявеното искане и намерението, което може да се изведе от контекста.

При тестове с Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro моделите по-често предлагаха решение на буквалния въпрос, отколкото на същинската цел. Във въпросите от Stack Overflow те поставяха основния акцент върху целта в 35–41% от отговорите, а върху заявеното искане — в 47–57%. Изследователите установиха и разлика между разпознаването на полезен съвет и реалното му прилагане в отговор.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини