Le gouvernement australien risque de répéter les défaillances liées au scandale robodebt s’il ne met pas en place des garde-fous plus stricts pour la prise de décision automatisée, a averti le Centre for Public Integrity. Le rapport du groupe de réflexion indépendant, intitulé « Computer Says No », examine la façon dont les organismes gouvernementaux utilisent des algorithmes et l’intelligence artificielle pour prendre des décisions, et appelle à une réforme urgente.
Le rapport formule huit recommandations, notamment la réalisation d’audits obligatoires et la création d’un registre public de tous les usages de la prise de décision automatisée par le gouvernement. Il propose également la création d’un organisme de surveillance indépendant, habilité à suivre, auditer et enquêter sur ces usages. Le centre affirme que les personnes pourraient ne pas savoir si un système automatisé a influencé une décision qui les concerne.
La directrice générale, la Dre Catherine Williams, a déclaré que le rapport avait notamment été motivé par les préoccupations concernant l’outil intégré d’évaluation du gouvernement, qui contribue à déterminer l’aide à domicile à laquelle les personnes âgées australiennes ont droit. Selon le rapport, il a été constaté que cet outil sous-estime régulièrement les besoins et les droits des personnes, tandis que les règles gouvernementales empêchent les évaluateurs des soins aux personnes âgées de passer outre des décisions algorithmiques erronées.
Le ministère du Procureur général élabore un cadre pour les décisions automatisées, à la suite d’une consultation publique qui s’est achevée en janvier 2025. La procureure générale, Michelle Rowland, n’a pas indiqué quand un projet serait achevé ou publié. Elle a déclaré que le gouvernement s’engageait à utiliser ces systèmes de manière sûre et responsable et que le cadre prévoirait des obligations de transparence, des garde-fous et une supervision humaine appropriée. Il vise également à mettre en œuvre les recommandations de la commission royale d’enquête sur robodebt.
Un rapport publié en octobre par le médiateur du Commonwealth a conclu que le gouvernement n’avait pas suivi les recommandations de transparence de la commission royale lors de l’élaboration et du déploiement de l’outil intégré d’évaluation. Rowland n’a pas précisé si le cadre proposé s’appliquerait rétroactivement.
La députée indépendante Kate Chaney a présenté en septembre une proposition de loi d’initiative parlementaire visant à instaurer un cadre obligatoire inscrit dans la loi. Elle a déclaré que la consultation du ministère s’était achevée près de deux ans auparavant et a exhorté le gouvernement à poursuivre les travaux. Chaney a également soutenu que les ministères manquaient de cohérence et de transparence dans leurs décisions concernant l’utilisation de systèmes automatisés, et a affirmé que les personnes devraient pouvoir comprendre comment les décisions sont prises et comment demander leur réexamen.
Sources: The Guardian Technology.