A Anthropic está desenvolvendo o FlashProve, um sistema projetado para verificar se uma resposta foi gerada pelo modelo de IA que uma empresa diz usar. Ele utiliza criptografia para produzir uma prova matemática que vincula uma saída a um modelo específico.
A proposta poderia ajudar os usuários a conferir se estão interagindo com a IA anunciada, e não com um sistema diferente ou menos capaz. A Anthropic afirma que a abordagem também poderia dificultar que provedores trocassem secretamente por modelos mais baratos ou alegassem resultados de desempenho com base em um modelo que não usaram.
O FlashProve utiliza o que os pesquisadores chamam de “inferência verificável”. Os desenvolvedores de modelos publicariam uma impressão digital para cada sistema, que poderia então ser comparada às suas saídas por meio de métodos criptográficos. As impressões digitais não revelariam os pesos de um modelo — os valores internos que moldam seu comportamento —, e a verificação foi projetada para ser executada em um dispositivo local.
O sistema poderia ser relevante para além dos serviços de IA oferecidos diretamente. Por exemplo, um desenvolvedor talvez queira verificar a alegação de que um modelo avançado de cibersegurança foi usado para inspecionar uma biblioteca de software em busca de vulnerabilidades. Uma empresa também poderia querer confirmar que um modelo de IA adequado analisou seu plano de negócios.
A Anthropic apresentou o projeto em uma publicação da empresa na terça-feira, 3 de novembro, e disponibilizou uma especificação técnica detalhada e partes do código sob uma licença de código aberto. A empresa não anunciou planos para implementar o FlashProve em seus próprios serviços nem em outras plataformas de IA. Os pesquisadores da empresa descreveram o lançamento como uma etapa intermediária da pesquisa e convidaram outras equipes a analisar e aprimorar a proposta.
Fontes: Olhar Digital.