FlashProve: Anthropic изучает способы подтверждения идентичности моделей ИИ

Anthropic работает над FlashProve — системой, предназначенной для подтверждения того, что ответ действительно получен от конкретной модели ИИ. По данным TechCrunch, который ссылается на публикацию от 3 ноября, проект основан на криптографическом доказательстве выполнения модели. В частности, он призван дать пользователям возможность проверить идентичность системы, к которой, как они считают, они обращаются.

Механизм предполагает, что лаборатории будут публиковать цифровой отпечаток своих моделей, который затем можно будет связать с ответами и проверить криптографически. Согласно изложенной в публикации презентации, этот отпечаток не раскрывает веса модели. Система также разрабатывается с возможностью проверки на локальном устройстве. Эти свойства остаются целями и характеристиками, описанными исследователями; независимая демонстрация в статье не представлена.

Один из предполагаемых сценариев использования — обнаружение незаметной подмены одной модели другой: более дешёвой для сокращения расходов или более дорогой для завышения демонстрируемых показателей производительности. FlashProve также может использоваться для проверки заявления поставщика о том, что задача была выполнена конкретной моделью.

Таким образом, речь идёт о том, чтобы сделать часть отношений между поставщиком и клиентом проверяемой. Однако само по себе доказательство идентичности не позволит установить правильность или безопасность ответа: это отдельные вопросы, отличные от вопроса о его происхождении.

Зрелость проекта остаётся ограниченной. Исследователи опубликовали техническую спецификацию и код различных компонентов под лицензией с открытым исходным кодом. Они представляют эту работу как промежуточный этап. По данным TechCrunch, внедрение в Anthropic или другой лаборатории не запланировано.