Google propone que robots.txt se convierta en un requisito estándar para todos los proveedores de IA. La medida pretende abordar el hecho de que muchos rastreadores de IA actualmente desatienden las instrucciones publicadas en los archivos robots.txt de los sitios web.
Los operadores de sitios web utilizan habitualmente el archivo para comunicar a qué áreas de un sitio pueden acceder los rastreadores automatizados. Según la información disponible, la propuesta de Google buscaría establecer un enfoque más coherente entre los proveedores de IA al convertir el cumplimiento de robots.txt en un estándar obligatorio.
La propuesta refleja la creciente preocupación de los operadores de sitios web sobre cómo los rastreadores de IA acceden al contenido en línea. La fuente no proporciona más detalles sobre las normas propuestas, su implementación o un calendario para su adopción.
Fuentes: Golem.de.