XYBench проверяет, решают ли ИИ-ассистенты истинскую проблему пользователя
Исследователи представили XYBench — бенчмарк с 8 115 реальными вопросами для проверки того, умеют ли ИИ-ассистенты замечать ошибочные предположения и отвечать на основную цель пользователя. Вопросы посвящены программированию и повседневным занятиям, включая приготовление пищи и ремонт дома. XYBench получил награду за лучшую ресурсную статью на EMNLP 2026.
Бенчмарк создан при участии исследователей из Carnegie Mellon, NVIDIA и Johns Hopkins. В него вошли 1 557 вопросов из Stack Overflow, 184 из Stack Exchange, 102 вручную отобранных примера и 6 272 вопроса, сгенерированных по руководствам WikiHow. Для каждого примера отдельно определялись буквальный запрос и подразумеваемая цель, которую можно вывести из контекста.
В испытаниях Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro модели чаще предлагали решение буквального запроса, чем основной проблемы. В вопросах из Stack Overflow они в первую очередь ориентировались на скрытую цель в 35–41% ответов, а на заявленный запрос — в 47–57%. Авторы также обнаружили разрыв между способностью выбрать полезный совет и способностью самостоятельно дать такой ответ. Сейчас XYBench охватывает англоязычные, преимущественно процедурные вопросы.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.