Local SEO – Was ist ein Meta-Robots-Tag
Hierbei handelt es sich um die genaue Angabe wie der Google Crawler mit deiner Webseite verfahren soll, somit kannst du steuern was der Crawler sieht und welchen Links er folgen soll bzw nicht folgen
soll, die sogenannte Indexierung. Über eine robots.txt werden die Angaben gelistet, hier werden einzelne Domains, ganze Verzeichnisse oder sensible Daten mit einem Zugriffsverbot versehen.