Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← К новостям

ProvenanceGuard проверяет правильность источников ответов MCP-агентов

Исследователи представили ProvenanceGuard — слой постгенерационной проверки для агентов, работающих с Model Context Protocol (MCP). В отличие от обычных средств проверки фактов, которые объединяют все найденные свидетельства, система сохраняет источник каждого результата инструмента и выясняет, подтверждается ли утверждение именно источником, названным или подразумеваемым в ответе. Это помогает выявлять смешение источников: утверждение может быть истинным среди собранных данных, но приписанным не той записи, статье или базе данных.

ProvenanceGuard разбивает ответ на отдельные утверждения, определяет наиболее релевантный источник, проверяет его поддержку, отдельно контролирует числа, даты и идентификаторы, а затем выдает оценки по каждому утверждению и общее решение — пропустить ответ или заблокировать его. Заблокированный ответ можно передать на исправление в цикле в стиле RARR, после чего проверить повторно.

В исследовании медицинского агента были рассмотрены 281 трасса и 361 утверждение из 40 отложенных ответов. Эксперты сочли неприемлемыми 139 утверждений; система заблокировала 138 из них и пропустила одно. Еще 67 утверждений, признанных экспертами обоснованными, она направила на дополнительную проверку или исправление. Для утверждений с определимым источником правильный источник был выбран примерно в 86% случаев. В отдельном тесте с 50 намеренно измененными атрибуциями ProvenanceGuard обнаружил все подмены. При похожих источниках точность выбора конкретного источника составила 50,3%.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости