Erklärung
robots.txt steuert den Zugriff von Crawlern auf URLs, ist aber kein zuverlässiges Mittel, eine URL aus Ergebnissen zu entfernen: Ihre Adresse kann aus anderer Quelle bekannt sein. Eine noindex-Anweisung signalisiert, dass eine erreichbare Seite nicht in Suchergebnisse aufgenommen werden soll. Ein Crawler muss die Seite in der Regel abrufen, um noindex zu lesen. Prüfe tatsächliche Serverantworten und Zugriffskontrollen, nicht nur den Text der Datei.
Fiktives Beispiel
Die Testkonfiguration für /robots enthält sowohl Disallow als auch noindex. Ein Crawler, dem der Abruf untersagt ist, lädt möglicherweise das HTML nicht und kann deshalb das Meta-Tag nicht lesen. Zuerst hält das Team den gewünschten Zustand der Seite fest und prüft die Wirkung jeder Anweisung; danach ändert und testet es nur die Testkonfiguration. Die Produktion bleibt unverändert. Der Schutz privater und interner Testbereiche erfordert eine gesonderte Entscheidung des Eigentümers.
Übung
Prüfe /robots in deiner Testumgebung oder lokalen Nachbildung: robots.txt; das Robots-Meta-Tag im HTML; den Antwort-Header X-Robots-Tag; Status und Weiterleitungen; WAF-/CDN-Beschränkungen und Anmeldeanforderungen. Vergleiche jede Anweisung mit dem gewünschten Zustand. Regeländerungen bleiben in der Testumgebung; für die Produktion sind Zustimmung des Eigentümers, Prüfung und Rücksetzplan erforderlich.
Prüfliste
robots.txtwurde für den richtigen Host und das richtige Protokoll geprüft.- Antwort-Header wurden geprüft, nicht nur das HTML.
Disallowundnoindexwerden als unterschiedliche Anweisungen behandelt.- Private Inhalte sind durch Anmeldung geschützt, nicht nur durch
robots.txt. - Ergebnisse wurden für jeden relevanten Suchcrawler separat festgehalten.
Häufiger Fehler
Disallow hinzufügen und davon ausgehen, die Seite sei aus dem Index entfernt. Soll eine öffentliche Seite nicht indexiert werden, verwende eine passende Indexierungsanweisung und verhindere nicht, dass der Crawler sie lesen kann; vertrauliche Daten erfordern Zugriffskontrollen.