Anthropic lanza sistema para verificar qué modelo de IA genera respuestas

Anthropic, una empresa de inteligencia artificial, presentó un sistema llamado FlashProve que permite verificar con pruebas matemáticas qué modelo de IA generó una respuesta específica. Este avance busca resolver un problema existente: cuando un usuario envía una pregunta a un modelo de IA, no hay forma de confirmar si la respuesta provino del modelo que seleccionó o de otro distinto.

El sistema funciona mediante un objeto criptográfico conocido como 'argumento sucinto de conocimiento cero' (zkSNARK), que permite demostrar que un cálculo fue realizado sin revelar sus detalles internos. El proceso tiene dos etapas: primero, el proveedor del modelo publica una 'huella digital' de sus pesos internos, y luego, cada vez que el modelo responde una consulta, se adjunta una prueba corta que certifica que esa respuesta fue generada por el modelo asociado a la huella publicada.

Los usuarios pueden verificar esta prueba en segundos, incluso desde un dispositivo común, sin necesidad de infraestructura especializada. La prueba cumple con cuatro condiciones: se acepta si es honesta, no puede falsificarse, no revela información más allá de lo que certifica y es liviana para comprobar en comparación con el cálculo original.

Este sistema no está listo para uso general, según las fuentes, y es un 'progreso intermedio' según los investigadores de Anthropic. Sin embargo, se espera que tenga aplicaciones más allá de los usuarios finales, como en la certificación de código revisado por modelos de ciberseguridad, o en la verificación de compromisos específicos de empresas de IA ante reguladores y auditores.

Los evaluadores independientes, los clientes que contratan modelos a través de servicios intermediarios y los desarrolladores que necesitan certificar que su código fue revisado por un modelo avanzado podrán beneficiarse de esta herramienta. Además, el sistema podría servir para detectar manipulaciones externas, como cuando un atacante altera las respuestas de un modelo de IA haciéndose pasar por uno legítimo.