ProvenanceGuard перевіряє правильність джерел відповідей MCP-агентів
Дослідники представили ProvenanceGuard — рівень перевірки після генерації для агентів, які використовують Model Context Protocol (MCP). На відміну від звичайних засобів перевірки фактів, що об’єднують усі знайдені докази, система зберігає джерело кожного результату інструмента й перевіряє, чи підтверджує твердження саме джерело, назване або мається на увазі у відповіді. Це дає змогу виявляти змішування джерел, коли твердження є правдивим у сукупності даних, але його приписують не тому запису, документу чи базі даних.
ProvenanceGuard розкладає відповідь на окремі твердження, визначає найрелевантніше джерело, перевіряє наявність підтвердження, окремо контролює числа, дати та ідентифікатори й формує оцінку для кожного твердження та загальне рішення — пропустити відповідь чи заблокувати її. Заблоковані відповіді можна передати на виправлення через цикл у стилі RARR, а потім перевірити повторно.
Під час оцінювання медичного агента дослідники проаналізували 281 трасу. Експерти перевірили 361 твердження з 40 відкладених відповідей і визначили 139 неприйнятними. ProvenanceGuard заблокував 138 із них, пропустивши одне, а ще 67 підтриманих тверджень направив на перевірку або виправлення. Для тверджень із визначеним джерелом система правильно обрала його приблизно у 86% випадків. У тесті з 50 навмисно зміненими атрибуціями вона виявила всі підміни. За схожих джерел точність визначення конкретного джерела становила 50,3%.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.