استخدم هذا الإجراء عند ظهور زيادة في الزحف أو استجابات 5xx متكررة أو حمل غير متوقع من روبوت. سلسلة User-Agent ادعاء وليست دليلًا على الهوية.
أنشئ عينة سجلات مفيدة
- صدّر الطابع الزمني وعنوان IP المصدر وUser-Agent والطريقة والمسار والحالة وبايتات الاستجابة ومدة الطلب. وحدد نافذة زمنية ومنطقة زمنية ثابتتين.
- جمّع حسب الزاحف المُعلَن والحالة والمسار. واحسب الطلبات وعناوين IP المميزة كلًا على حدة؛ ولا تستنتج عدد الأشخاص أو الزيارات من الطلبات الخام.
تحقق من الهوية قبل تغيير إمكانية الوصول
- بالنسبة إلى Googlebot، تحقق من IP المصدر باستخدام نطاقات IP المنشورة من Google أو إجراء DNS العكسي الموثّق. فتطابق User-Agent وحده غير كافٍ.
- قارن الطلبات التي تم التحقق منها بقواعد robots ومعدل الزحف وأخطاء الخادم. وصعّد فقط نمط IP أو المسار المسيء المحدد؛ واحتفظ بالأدلة ونسخة للتراجع.
مثال والنتيجة المتوقعة
- مثال: يظهر صف في السجل بهذه الصيغة
GET /page 200 "Googlebot". بالنسبة إلى IP حقيقي، نفّذ DNS العكسي، وتحقق من اسم مضيف رسمي لزاحف Google، ثم أجرِ استعلام DNS أماميًا وتأكد من ظهور عنوان IP الأصلي في النتائج. وسجّل الحالة وعنوان URL ورمز الاستجابة والوقت. عنوان IP النموذجي 203.0.113.24 مخصص للتوثيق فقط. - إذا لم يتطابق فحصا DNS، فصنّف الطلب على أنه غير متحقق منه؛ ولا تقرر بناءً على User-Agent وحده. يغطي هذا الإجراء Google فقط؛ واستخدم طريقة التحقق المنشورة لكل مزود آخر. قيّد الوصول إلى السجلات واحتفظ ببيانات IP للمدة المحددة في سياسة الاحتفاظ فقط.