Anthropic разрабатывает FlashProve для проверки происхождения ответов ИИ

Anthropic разрабатывает систему с открытым исходным кодом под названием FlashProve, которая должна помогать определять, какая именно модель искусственного интеллекта создала ответ. В основе проекта лежит так называемый исследователями «доказуемый инференс» — криптографическое доказательство, призванное математически подтвердить происхождение результата от конкретной модели.

Система должна противостоять попыткам выдать одну модель за другую, в том числе со стороны компании, которая эту модель создала и эксплуатирует. По словам исследователей, FlashProve может выявлять скрытую замену модели на более дешёвую для сокращения затрат или на более дорогую для повышения показателей. Технология также может проверять заявления третьих сторон о том, что сложная модель выполнила определённую задачу, например проверила программное обеспечение на уязвимости.

Для работы системы разработчики ИИ должны публиковать «отпечаток» каждой выпущенной модели. Его можно сопоставлять с ответами без раскрытия весов модели — внутренних параметров, которые компании обычно держат в секрете. Проверку планируется выполнять даже на локальном устройстве. Исследователи Anthropic опубликовали техническую спецификацию и рабочий код на GitHub по лицензии с открытым исходным кодом. Работа продолжается, а планов внедрять FlashProve в Anthropic или другой лаборатории пока нет.