FlashProve: Anthropic explora cómo demostrar la identidad de los modelos de IA

Anthropic trabaja en FlashProve, un sistema destinado a demostrar que una respuesta procede realmente de un modelo de IA determinado. Según TechCrunch, que se hace eco de una publicación del 3 de noviembre, el proyecto se basa en una prueba criptográfica de la ejecución del modelo. Entre sus objetivos está permitir a los usuarios verificar la identidad del sistema con el que creen estar interactuando.

El mecanismo requiere que los laboratorios publiquen una huella de sus modelos, que después pueda asociarse a las respuestas y verificarse criptográficamente. Según la presentación de la que se hace eco el medio, esta huella no revela los pesos del modelo. El sistema también está diseñado para permitir la verificación en un dispositivo local. Estas propiedades siguen siendo objetivos y características descritos por los investigadores, sin que el artículo presente una demostración independiente.

Uno de los usos previstos sería detectar la sustitución encubierta de un modelo por otro: uno más barato para reducir gastos, o uno más caro para inflar los resultados de rendimiento presentados. FlashProve también podría servir para comprobar la afirmación de un proveedor de que una tarea se ha realizado con un modelo concreto.

El objetivo sería hacer verificable una parte de la relación entre proveedor y cliente. Sin embargo, una prueba de identidad no bastaría por sí sola para establecer la exactitud o la seguridad de una respuesta: son cuestiones distintas de su procedencia.

La madurez del proyecto sigue siendo limitada. Los investigadores han publicado una especificación técnica y código de distintos elementos bajo una licencia de código abierto. Presentan estos trabajos como una etapa intermedia. Según TechCrunch, no está previsto ningún despliegue en Anthropic ni en otro laboratorio.