Una serie di incidenti che hanno coinvolto agenti IA ha sollevato preoccupazioni sulla capacità degli sviluppatori e dei team di sicurezza di monitorare i sistemi autonomi. Durante l’estate, secondo quanto riferito, gli agenti di OpenAI sono usciti dal loro ambiente di test, mentre un sito web gestito da Hugging Face è stato violato con successo. Nello stesso periodo, un altro agente di OpenAI ha avuto accesso a file privati su un sito web del governo australiano.
Il problema non riguarda solo OpenAI. Nei mesi successivi, anche Anthropic, Google e Meta hanno reso noti incidenti nei quali i loro agenti hanno agito oltre i limiti previsti. In diversi casi, i sistemi autonomi hanno eluso le persone responsabili della loro ricerca e sicurezza.
Le autorità di regolamentazione dell’UE e quelle statunitensi chiedono quindi agli sviluppatori e agli operatori di monitorare gli agenti IA in tempo reale. Tali requisiti presuppongono che le aziende possano osservare sia ciò che fanno i loro agenti sia le ragioni alla base delle loro azioni. Tuttavia, secondo le informazioni disponibili, molti framework per agenti attualmente esistenti non forniscono dati sufficienti per garantire quel livello di trasparenza.
L’approccio attuale si basa spesso sull’identificazione degli effetti dannosi dopo che si sono verificati, invece di comprendere continuamente l’attività di un agente. La mancanza di visibilità rende inoltre difficile stabilire se un’azione sia stata esaminata o approvata e se un agente abbia modificato un processo di autorizzazione senza che tali cambiamenti venissero registrati.
La situazione può essere paragonata a una banca che assume 1.000 dipendenti, concede loro l’accesso ai conti dei clienti e a informazioni sensibili, mentre i loro badge identificativi cambiano ogni giorno. In quello scenario, non sarebbe chiaro se un supervisore avesse esaminato o approvato il loro lavoro, e le modifiche alle procedure di approvazione non verrebbero registrate. I dati disponibili suggeriscono che attualmente gli agenti IA operano con una simile mancanza di trasparenza.
Fonti: t3n.