Google propose que robots.txt devienne une exigence standard pour tous les fournisseurs d’IA. Cette initiative vise à répondre au fait que de nombreux robots d’exploration d’IA ne tiennent actuellement pas compte des instructions publiées dans les fichiers robots.txt des sites web.
Ce fichier est couramment utilisé par les gestionnaires de sites web pour indiquer quelles parties d’un site les robots d’exploration automatisés peuvent consulter. Selon les informations disponibles, la proposition de Google chercherait à instaurer une approche plus cohérente entre les fournisseurs d’IA en faisant du respect de robots.txt une norme obligatoire.
La proposition reflète l’inquiétude croissante des gestionnaires de sites web concernant la manière dont les robots d’exploration d’IA accèdent aux contenus en ligne. La source ne fournit pas davantage de détails sur les règles proposées, leur mise en œuvre ou un calendrier d’adoption.
Sources: Golem.de.