O Google está propondo que o robots.txt se torne um requisito padrão para todos os provedores de IA. A medida pretende abordar o fato de que muitos rastreadores de IA atualmente desconsideram as instruções publicadas nos arquivos robots.txt dos sites.
O arquivo é comumente usado pelos operadores de sites para comunicar quais áreas de um site os rastreadores automatizados podem acessar. De acordo com as informações disponíveis, a proposta do Google buscaria estabelecer uma abordagem mais consistente entre os provedores de IA, tornando a conformidade com o robots.txt um padrão obrigatório.
A proposta reflete a preocupação crescente dos operadores de sites sobre como os rastreadores de IA acessam conteúdo online. A fonte não fornece mais detalhes sobre as regras propostas, sua implementação ou um cronograma para adoção.
Fontes: Golem.de.