Anthropic développe FlashProve, un système conçu pour vérifier si une réponse a été générée par le modèle d’IA qu’une entreprise affirme utiliser. Il s’appuie sur la cryptographie pour produire une preuve mathématique reliant un résultat à un modèle spécifique.
Cette proposition pourrait aider les utilisateurs à vérifier qu’ils interagissent avec l’IA annoncée plutôt qu’avec un système différent ou moins performant. Anthropic affirme que cette approche pourrait aussi compliquer les changements secrets de modèle au profit de modèles moins coûteux, ou les déclarations de résultats de performance reposant sur un modèle qui n’a pas été utilisé.
FlashProve utilise ce que les chercheurs appellent « l’inférence vérifiable ». Les développeurs de modèles publieraient une empreinte numérique pour chaque système, qui pourrait ensuite être comparée à ses résultats au moyen de méthodes cryptographiques. Ces empreintes ne révéleraient pas les poids du modèle — les valeurs internes qui façonnent son comportement — et la vérification est conçue pour s’effectuer sur un appareil local.
Le système pourrait être pertinent au-delà des services d’IA directement accessibles. Par exemple, un développeur pourrait vouloir vérifier l’affirmation selon laquelle un modèle avancé de cybersécurité a été utilisé pour examiner une bibliothèque logicielle à la recherche de vulnérabilités. Une entreprise pourrait également chercher à confirmer qu’un modèle d’IA approprié a examiné son plan d’affaires.
Anthropic a présenté le projet dans une publication de l’entreprise le mardi 3 novembre et a mis à disposition une spécification technique détaillée ainsi qu’une partie du code sous licence open source. L’entreprise n’a pas annoncé de projet visant à mettre en œuvre FlashProve dans ses propres services ou sur d’autres plateformes d’IA. Ses chercheurs ont décrit cette publication comme une étape intermédiaire de la recherche, invitant d’autres équipes à examiner et à améliorer la proposition.
Sources: Olhar Digital.