Anthropic розробляє FlashProve для перевірки походження відповідей ШІ

Anthropic розробляє систему з відкритим кодом під назвою FlashProve, яка має допомагати визначати, яка саме модель штучного інтелекту створила певну відповідь. В основі проєкту лежить те, що дослідники називають «доказовим інференсом» — криптографічний доказ, покликаний математично підтверджувати походження результату від конкретної моделі.

Система має протистояти спробам видати одну модель за іншу, зокрема з боку компанії, яка її створила та експлуатує. За словами дослідників, FlashProve може виявляти непублічну заміну моделі на дешевшу для скорочення витрат або на дорожчу для покращення показників. Технологію також можна буде застосовувати для перевірки заяв третіх сторін про те, що складне завдання виконала передова модель, наприклад перевірила програмне забезпечення на вразливості.

Для роботи системи розробники ШІ мають публікувати «відбиток» кожної моделі. Його можна зіставляти з відповідями без розкриття ваг моделі — внутрішніх параметрів, які компанії зберігають у таємниці. Перевірку задумано виконувати навіть на локальному пристрої. Дослідники Anthropic оприлюднили технічну специфікацію та робочий код на GitHub за ліцензією відкритого коду. Дослідження триває, а планів розгортати FlashProve наразі немає.