Nutze diese Anleitung bei Crawl-Spitzen, wiederholten 5xx-Fehlern oder unerwarteter Bot-Last. Ein User-Agent ist eine Behauptung, kein Identitätsnachweis.
Eine brauchbare Log-Stichprobe erstellen
- Exportiere Zeit, Quell-IP, User-Agent, Methode, Pfad, Status, Antwortbytes und Dauer. Lege Zeitraum und Zeitzone fest.
- Gruppiere nach behauptetem Bot, Status und Pfad. Zähle Anfragen und eindeutige IPs getrennt; leite daraus keine Personen oder Besuche ab.
Herkunft prüfen, bevor du den Zugriff änderst
- Prüfe Googlebot-IP-Adressen anhand der veröffentlichten Bereiche oder per dokumentierter Reverse-DNS-Prüfung. Der User-Agent allein reicht nicht.
- Vergleiche bestätigte Anfragen mit robots-Regeln, Crawl-Rate und Serverfehlern. Begrenze nur das konkrete schädliche IP-/Pfadmuster; sichere Belege und Rollback.
Beispiel und erwartetes Ergebnis
- Beispiel: Im Log steht
GET /page 200 "Googlebot". Führe für eine echte IP Reverse-DNS aus, prüfe die offizielle Google-Crawler-Domain und löse sie vorwärts auf; zurückkommen muss die ursprüngliche IP. Notiere Status, URL, Antwortcode und Zeit. 203.0.113.24 ist nur ein Beispiel. - Stimmen die DNS-Prüfungen nicht überein, markiere die Anfrage als unbestätigt; entscheide nicht allein anhand des User-Agents. Das Verfahren gilt nur für Google; nutze für andere Bots deren offizielle Prüfung. Begrenze Logzugriff und IP-Aufbewahrung.