Google schlägt vor, robots.txt zu einer Standardanforderung für alle KI-Anbieter zu machen. Damit soll der Tatsache begegnet werden, dass viele KI-Crawler derzeit die in den robots.txt-Dateien von Websites veröffentlichten Anweisungen missachten.
Die Datei wird von Website-Betreibern üblicherweise verwendet, um mitzuteilen, auf welche Bereiche einer Website automatisierte Crawler zugreifen dürfen. Den verfügbaren Informationen zufolge würde Googles Vorschlag darauf abzielen, durch die verbindliche Standardisierung der Einhaltung von robots.txt für mehr Einheitlichkeit unter den KI-Anbietern zu sorgen.
Der Vorschlag spiegelt die wachsende Besorgnis von Website-Betreibern darüber wider, wie KI-Crawler auf Online-Inhalte zugreifen. Die Quelle enthält keine weiteren Details zu den vorgeschlagenen Regeln, ihrer Umsetzung oder einem Zeitplan für ihre Einführung.
Quellen: Golem.de.