Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← К новостям

XYBench проверяет, решают ли ИИ-ассистенты истинскую проблему пользователя

Исследователи представили XYBench — бенчмарк с 8 115 реальными вопросами для проверки того, умеют ли ИИ-ассистенты замечать ошибочные предположения и отвечать на основную цель пользователя. Вопросы посвящены программированию и повседневным занятиям, включая приготовление пищи и ремонт дома. XYBench получил награду за лучшую ресурсную статью на EMNLP 2026.

Бенчмарк создан при участии исследователей из Carnegie Mellon, NVIDIA и Johns Hopkins. В него вошли 1 557 вопросов из Stack Overflow, 184 из Stack Exchange, 102 вручную отобранных примера и 6 272 вопроса, сгенерированных по руководствам WikiHow. Для каждого примера отдельно определялись буквальный запрос и подразумеваемая цель, которую можно вывести из контекста.

В испытаниях Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro модели чаще предлагали решение буквального запроса, чем основной проблемы. В вопросах из Stack Overflow они в первую очередь ориентировались на скрытую цель в 35–41% ответов, а на заявленный запрос — в 47–57%. Авторы также обнаружили разрыв между способностью выбрать полезный совет и способностью самостоятельно дать такой ответ. Сейчас XYBench охватывает англоязычные, преимущественно процедурные вопросы.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости