Hierbei handelt es sich um die genaue Angabe wie der Google Crawler mit deiner Webseite verfahren soll, somit kannst du steuern was der Crawler sieht und welchen Links er folgen soll bzw nicht folgen soll, die sogenannte Indexierung. Über eine robots.txt werden die Angaben gelistet, hier werden einzelne Domains, ganze Verzeichnisse oder sensible Daten mit einem Zugriffsverbot versehen.
Der Meta-Robots-Tag ist jedoch kein ausreichender Schutz für sensible Daten, diese sollten zusätzlich immer von einem Passwort geschützt sein. In der Regel werden nur irrelevante Seiten wie die AGB oder das Impressum von der Indexierung ausgeschlossen.
Folgende Attribute können in dem Meta-Robots-Tag hinterlegt werden:
– noindex – Die Seite soll nicht in den Index einer Suchmaschine aufgenommen werden
– nofollow – Wenn im <head> definiert, dann soll keinem der Links auf der Seite gefolgt werden
– none – Diese Angabe entspricht noindex, nofollow
– noarchive – Verhindert, dass eine Seite zwischengespeichert wird (im sogenannten Cache).
Mit cache:URL können Sie das Cache-Abbild einer Seite bei Google ansehen.
– nosnippet – Die Meta Description soll nicht angezeigt werden
– notranslate – In den Suchergebnissen von Google soll keine Übersetzung der Seite angeboten werden
– noimageindex – Die auf der Seite enthaltenen Bilder sollen nicht indexiert werden.
– unavailable_after – Definiert das Datum, ab wann die Seite nicht mehr in den Suchergebnissen auftauchen soll (RFC-850 Format)
In unserer Reihe „Meta-Tags“ geht es nächste Woche mit der Meta-Description weiter.