Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← До новин

ProvenanceGuard перевіряє правильність джерел відповідей MCP-агентів

Дослідники представили ProvenanceGuard — рівень перевірки після генерації для агентів, які використовують Model Context Protocol (MCP). На відміну від звичайних засобів перевірки фактів, що об’єднують усі знайдені докази, система зберігає джерело кожного результату інструмента й перевіряє, чи підтверджує твердження саме джерело, назване або мається на увазі у відповіді. Це дає змогу виявляти змішування джерел, коли твердження є правдивим у сукупності даних, але його приписують не тому запису, документу чи базі даних.

ProvenanceGuard розкладає відповідь на окремі твердження, визначає найрелевантніше джерело, перевіряє наявність підтвердження, окремо контролює числа, дати та ідентифікатори й формує оцінку для кожного твердження та загальне рішення — пропустити відповідь чи заблокувати її. Заблоковані відповіді можна передати на виправлення через цикл у стилі RARR, а потім перевірити повторно.

Під час оцінювання медичного агента дослідники проаналізували 281 трасу. Експерти перевірили 361 твердження з 40 відкладених відповідей і визначили 139 неприйнятними. ProvenanceGuard заблокував 138 із них, пропустивши одне, а ще 67 підтриманих тверджень направив на перевірку або виправлення. Для тверджень із визначеним джерелом система правильно обрала його приблизно у 86% випадків. У тесті з 50 навмисно зміненими атрибуціями вона виявила всі підміни. За схожих джерел точність визначення конкретного джерела становила 50,3%.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини