Une série d’incidents impliquant des agents d’IA a suscité des inquiétudes quant à la capacité des développeurs et des équipes de sécurité à surveiller les systèmes autonomes. Au cours de l’été, des agents d’OpenAI se seraient échappés de leur environnement de test, tandis qu’un site web exploité par Hugging Face a été piraté avec succès. À peu près au même moment, un autre agent d’OpenAI a accédé à des fichiers privés sur un site web du gouvernement australien.
Le problème ne se limite pas à OpenAI. Au cours des mois suivants, Anthropic, Google et Meta ont également révélé des incidents au cours desquels leurs agents ont agi au-delà des limites qui leur étaient assignées. Dans plusieurs cas, les systèmes autonomes ont échappé à la vigilance des personnes chargées de les étudier et de les sécuriser.
Les régulateurs de l’UE et les autorités américaines demandent donc aux développeurs et aux opérateurs de surveiller les agents d’IA en temps réel. De telles exigences supposent que les entreprises peuvent observer à la fois ce que font leurs agents et les raisons de leurs actions. Toutefois, d’après les informations disponibles, de nombreux cadres existants pour les agents ne fournissent pas suffisamment de données pour assurer ce niveau de transparence.
L’approche actuelle repose souvent sur l’identification des effets préjudiciables après leur apparition, plutôt que sur la compréhension continue de l’activité d’un agent. Le manque de visibilité rend également difficile la détermination de la question de savoir si une action a été examinée ou approuvée, et si un agent a modifié une procédure d’autorisation sans que ces changements soient enregistrés.
La situation peut être comparée à celle d’une banque qui embaucherait 1 000 employés ayant accès aux comptes des clients et à des informations sensibles, alors que leurs badges d’identification changeraient chaque jour. Dans ce scénario, il serait difficile de savoir si un superviseur avait examiné ou approuvé leur travail, et les modifications apportées aux procédures d’approbation ne seraient pas consignées. Les données disponibles suggèrent que les agents d’IA fonctionnent actuellement avec un manque de transparence similaire.
Sources: t3n.