Google propone que robots.txt se convierta en un requisito estándar para todos los proveedores de IA. La medida pretende abordar el hecho de que muchos rastreadores de IA actualmente no respetan las instrucciones publicadas en los archivos robots.txt de los sitios web.
Los operadores de sitios web utilizan habitualmente el archivo para comunicar a qué áreas de un sitio pueden acceder los rastreadores automatizados. Según la información disponible, la propuesta de Google buscaría establecer un enfoque más coherente entre los proveedores de IA al convertir el cumplimiento de robots.txt en un estándar obligatorio.
La propuesta refleja la creciente preocupación de los operadores de sitios web por la forma en que los rastreadores de IA acceden al contenido en línea. La fuente no proporciona más detalles sobre las reglas propuestas, su implementación ni un calendario para su adopción.
Fonti: Golem.de.