XYBench перевіряє, чи розв’язують ШІ-асистенти справжню проблему
Дослідники представили XYBench — бенчмарк із 8 115 реальних запитань, призначений для перевірки того, чи розпізнають ШІ-асистенти хибні припущення та працюють із основною метою користувача. Запитання охоплюють програмування й повсякденні справи, зокрема приготування їжі та домашній ремонт. XYBench отримав нагороду за найкращу ресурсну статтю на EMNLP 2026.
Бенчмарк створили за участю дослідників із Carnegie Mellon, NVIDIA та Johns Hopkins. До нього увійшли 1 557 запитань зі Stack Overflow, 184 зі Stack Exchange, 102 приклади, відібрані вручну, і 6 272 запитання, згенеровані на основі посібників WikiHow. Для кожного прикладу визначали буквальний запит і приховану мету, яку можна встановити з контексту.
Під час тестування Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B і DeepSeek-V4 Pro моделі частіше пропонували розв’язання буквального запиту, ніж основної проблеми. У запитаннях зі Stack Overflow вони зосереджувалися на прихованій меті у 35–41% відповідей, а на заявленому запиті — у 47–57%. Дослідники також виявили розрив між розпізнаванням корисної поради та здатністю самостійно надати її. Наразі XYBench охоплює англомовні, переважно процедурні запитання.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.