ProvenanceGuard проверява дали MCP агентите посочват правилния източник
Изследователи представиха ProvenanceGuard — слой за проверка след генерирането на отговор от агенти, използващи Model Context Protocol (MCP). За разлика от обичайните проверяващи системи, които обединяват всички намерени доказателства, той запазва идентичността на източника за всеки резултат от инструмент и проверява дали твърдението е подкрепено именно от източника, посочен или подразбиран в отговора. Така се адресира смесването на източници: твърдение може да е вярно в събраните данни, но да бъде приписано на грешен запис, документ или база данни.
Системата разделя отговора на твърдения, намира най-релевантните източници, проверява подкрепата им, следи внимателно числа, дати и идентификатори и издава оценки за всяко твърдение, както и общо решение за пропускане или блокиране. Блокираните отговори могат да бъдат преработени чрез цикъл в стил RARR и проверени повторно.
При оценка с медицински агент са анализирани 281 следи, а експерти са прегледали 361 твърдения от 40 отделени отговора. Те са определили 139 твърдения като неприемливи; ProvenanceGuard е блокирал 138 и е пропуснал едно. Системата е изпратила за преглед или поправка и 67 подкрепени твърдения. При твърдения с установим източник е избрала правилния източник в около 86% от случаите. При 50 умишлено сменени атрибуции е открила всички замени.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.