Nutze die Anleitung für eine repräsentative Stichprobe, sichere Belege und notiere den nächsten Schritt.
Prüfe den Zugriff, ohne nützliche Seiten zu sperren
- Rufe robots.txt für jeden Host und jedes Protokoll ab. Dokumentiere User-Agent-Gruppen, Allow/Disallow, Sitemaps und Änderungen.
- Liste wichtige kanonische URLs und prüfe Crawl-Zugriff. Verwende robots.txt nicht zum Entfernen einer URL aus dem Index.
- Prüfe Login, Staging, Suche und Filter getrennt. Nutze robots.txt nur zur Crawl-Steuerung bestätigter Duplikat- oder wenig wertvoller URL-Bereiche; private Seiten schützt du mit Authentifizierung.
- Spiele eine kleine Änderung aus, rufe robots.txt erneut ab, teste Beispiel-URLs in der Search Console und bewahre ein Rollback auf.