Anthropic sta sviluppando FlashProve, un sistema progettato per verificare se una risposta è stata generata dal modello di IA che un’azienda dichiara di utilizzare. Si basa sulla crittografia per produrre una prova matematica che collega un risultato a un modello specifico.
La proposta potrebbe aiutare gli utenti a verificare che stiano interagendo con l’IA pubblicizzata, anziché con un sistema diverso o meno capace. Anthropic afferma che questo approccio potrebbe anche rendere più difficile per i fornitori passare segretamente a modelli più economici o dichiarare risultati di prestazioni basati su un modello che non hanno utilizzato.
FlashProve utilizza quello che i ricercatori chiamano «inferenza verificabile». Gli sviluppatori di modelli pubblicherebbero un’impronta digitale per ciascun sistema, che potrebbe poi essere confrontata con i suoi risultati tramite metodi crittografici. Le impronte non rivelerebbero i pesi del modello, ossia i valori interni che ne determinano il comportamento, e la verifica è progettata per essere eseguita su un dispositivo locale.
Il sistema potrebbe essere rilevante anche al di là dei servizi di IA diretti. Per esempio, uno sviluppatore potrebbe voler verificare l’affermazione secondo cui un modello avanzato di cybersicurezza è stato utilizzato per esaminare una libreria software alla ricerca di vulnerabilità. Un’azienda potrebbe anche voler confermare che il proprio piano aziendale sia stato esaminato da un modello di IA adeguato.
Anthropic ha presentato il progetto in una pubblicazione aziendale martedì 3 novembre e ha reso disponibili, con una licenza open source, una specifica tecnica dettagliata e parte del codice. L’azienda non ha annunciato piani per implementare FlashProve nei propri servizi o su altre piattaforme di IA. I suoi ricercatori hanno descritto la pubblicazione come una fase intermedia della ricerca, invitando altri gruppi a esaminare e migliorare la proposta.
Fonti: Olhar Digital.