Sunucu günlüklerinde Googlebot isteklerini doğrulama

Zaman damgasını, kaynak IP’yi, User-Agent’i, yöntemi, yolu, durumu, yanıt baytlarını ve istek süresini dışa aktarın. Sabit bir zaman aralığı ve saat dilimi kullanın.

İddia edilen crawler’a, duruma ve yola göre gruplandırın. İstek sayılarını ve benzersiz IP’leri ayrı sayın; ham isteklerden kişi veya ziyaret sonucu çıkarmayın.

Googlebot için kaynak IP’yi Google’ın yayımladığı IP aralıklarıyla veya belgelenmiş ters DNS yöntemiyle doğrulayın. Yalnızca User-Agent eşleşmesi yeterli değildir.

Doğrulanmış istekleri robots kuralları, tarama hızı ve sunucu hatalarıyla karşılaştırın. Yalnızca tam olarak belirlenmiş kötüye kullanım IP/yol örüntüsünü üst makama taşıyın; kanıtı ve geri alma yolunu saklayın.

Örnek: bir log satırında GET /page 200 "Googlebot" yazıyor. Gerçek IP için ters DNS çalıştırın, resmi bir Google crawler host adını doğrulayın, ardından bu host adını ileri yönde çözümleyip özgün IP’yi döndürdüğünü kontrol edin. Durumu, URL’yi, yanıt kodunu ve zamanı kaydedin. Örnek IP 203.0.113.24 yalnızca dokümantasyon içindir.

İki DNS kontrolü eşleşmezse isteği doğrulanmamış olarak işaretleyin; yalnızca User-Agent’e bakarak karar vermeyin. Bu yöntem yalnızca Google’ı kapsar; diğer sağlayıcılar için her birinin yayımladığı doğrulama yöntemini kullanın. Log erişimini kısıtlayın ve IP verilerini yalnızca yapılandırılmış saklama süresi boyunca tutun.