Anthropic está desarrollando FlashProve, un sistema diseñado para verificar si una respuesta fue generada por el modelo de IA que una empresa dice utilizar. Se basa en la criptografía para producir una prueba matemática que vincula una respuesta con un modelo específico.
La propuesta podría ayudar a los usuarios a comprobar que están interactuando con la IA anunciada y no con un sistema diferente o menos capaz. Anthropic afirma que el enfoque también podría dificultar que los proveedores cambien en secreto a modelos más baratos o declaren resultados de rendimiento basados en un modelo que no utilizaron.
FlashProve utiliza lo que los investigadores llaman «inferencia verificable». Los desarrolladores de modelos publicarían una huella digital para cada sistema, que luego podría cotejarse con sus respuestas mediante métodos criptográficos. Las huellas no revelarían los pesos de un modelo —los valores internos que determinan su comportamiento— y el sistema está diseñado para que la verificación se realice en un dispositivo local.
El sistema podría ser pertinente más allá de los servicios de IA directos. Por ejemplo, un desarrollador podría querer verificar la afirmación de que se utilizó un modelo avanzado de ciberseguridad para inspeccionar una biblioteca de software en busca de vulnerabilidades. Una empresa también podría querer confirmar que un modelo de IA adecuado revisó su plan de negocios.
Anthropic presentó el proyecto en una publicación de la empresa el martes 3 de noviembre y puso a disposición una especificación técnica detallada y partes del código bajo una licencia de código abierto. La empresa no ha anunciado planes para implementar FlashProve en sus propios servicios ni en otras plataformas de IA. Sus investigadores describieron la publicación como una etapa intermedia de la investigación e invitaron a otros equipos a examinar y mejorar la propuesta.
Fuentes: Olhar Digital.