Was ist der X-Robots-Tag?
Der X-Robots-Tag ist eine Anweisung im HTTP-Header, mit der sich das Crawling- und Indexierungsverhalten von Suchmaschinen steuern lässt. Anders als das Meta-Robots-Tag, das im HTML einer Seite steht, wird der X-Robots-Tag direkt vom Server mitgesendet. Dadurch lässt er sich auch auf
Nicht-HTML-Dateien wie PDFs, Bilder oder andere Dokumente anwenden, die kein eigenes Meta-Tag besitzen.
Unterschied zum Meta-Robots-Tag
Beide erfüllen denselben Zweck — etwa eine Seite per
noindex aus dem Index zu halten oder Links per
nofollow nicht weiterzugeben. Das Meta-Robots-Tag eignet sich für einzelne HTML-Seiten, während der X-Robots-Tag
serverseitig und dateiübergreifend greift. Für viele Dateien gleichen Typs lässt er sich zentral konfigurieren, was die Pflege erleichtert.
Anwendung
Typische Einsätze sind das Ausschließen von Druckversionen, internen Dokumenten oder Mediendateien aus der Suche. Eine typische Anweisung lautet etwa „noindex, nofollow" für eine einzelne Datei oder einen ganzen Dateityp. Da der X-Robots-Tag das
Indexierungsverhalten präzise und flexibel steuert, ist er ein wichtiges Werkzeug der technischen Suchmaschinenoptimierung. Er ergänzt die
robots.txt, die den Zugriff regelt, um die Ebene der Indexierungssteuerung — und gehört in jede saubere
technische Auszeichnung.
