Regeln pro Bot und Pfad. Keine verlässliche Deindexierungsanweisung.
CRAWL ≠ INDEX
robots.txt sagt „nicht abrufen“. noindex sagt „nicht indexieren“.
Beide Signale lösen unterschiedliche Aufgaben. Wer noindex in einer per robots.txt gesperrten Seite versteckt, kann verhindern, dass der Crawler die Anweisung überhaupt sieht.
Meta-Robots oder X-Robots-Tag. Muss beim Abruf erkennbar sein.
ENTSCHEIDUNGSMATRIX
Das Signal nach dem tatsächlichen Ziel wählen.
Diese Matrix ist eine technische Orientierung. Bot-spezifische Regeln, Header, Sitemaps und bestehende Indexzustände müssen für die konkrete URL geprüft werden.
Zielgeeigneter Mechanismuswarum
Abruf begrenzenrobots.txt
Bot soll einen Pfad nicht crawlen. Die URL kann über Links trotzdem bekannt sein.
URL aus Index entfernennoindex bei erlaubtem Crawl
Crawler muss das noindex-Signal im HTML oder HTTP-Header sehen können.
Doppelte URL zusammenführenCanonical / Redirect
Kein robots-Ersatz: bevorzugte URL konsistent über mehrere Signale angeben.
Private Daten schützenZugriffsschutz
robots.txt und noindex sind keine Sicherheitsmechanismen; Authentifizierung oder Entfernung der Daten ist nötig.
TYPISCHE FEHLER
Drei Kombinationen, die falsch verstanden werden.
- Disallow + noindex: Die Sperre kann verhindern, dass noindex erneut gelesen wird.
- Nur robots.txt: Eine bekannte URL kann ohne gecrawlten Inhalt weiterhin in Ergebnissen erscheinen.
- Nur Canonical: Canonical ist ein Konsolidierungssignal, kein sicherer Löschbefehl.
GOOGLE-DOKUMENTATION
Crawl- und Indexregeln im Original.
KURZSCAN MIT GRENZE
Öffentliche Robots-Signale jetzt einordnen.
Der Scanner erkennt Meta-Robots und eine einfache globale robots.txt-Sperre im öffentlich gelieferten HTML-/Abrufkontext. Er ersetzt keinen vollständigen Bot- und Pfadtest.