ใช้เมื่อพบปริมาณ crawl เพิ่มขึ้น การตอบกลับ 5xx ซ้ำ หรือโหลดจากบอตที่ผิดปกติ User-Agent เป็นเพียงคำอ้าง ไม่ใช่หลักฐานยืนยันตัวตน
สร้างตัวอย่าง log ที่ใช้งานได้
- ส่งออก timestamp, source IP, User-Agent, method, path, status, จำนวน response bytes และระยะเวลาคำขอ ใช้ช่วงเวลาที่กำหนดตายตัวและระบุ timezone
- จัดกลุ่มตาม crawler ที่อ้างตัว status และ path นับจำนวนคำขอกับจำนวน IP ที่ไม่ซ้ำแยกกัน อย่าสรุปจำนวนคนหรือการเข้าชมจากจำนวนคำขอดิบ
ยืนยันตัวตนก่อนเปลี่ยนการเข้าถึง
- สำหรับ Googlebot ให้ยืนยัน source IP ด้วยช่วง IP ที่ Google เผยแพร่หรือขั้นตอน reverse DNS ที่มีเอกสารกำกับ การมี User-Agent ตรงกันอย่างเดียวไม่เพียงพอ
- เปรียบเทียบคำขอที่ยืนยันแล้วกับกฎ robots อัตรา crawl และข้อผิดพลาดของเซิร์ฟเวอร์ ยกระดับเฉพาะรูปแบบ IP/path ที่ละเมิดอย่างชัดเจน พร้อมเก็บหลักฐานและทาง rollback
ตัวอย่างและผลลัพธ์ที่คาดหวัง
- ตัวอย่าง: แถว log ระบุ
GET /page 200 "Googlebot"สำหรับ IP จริง ให้ทำ reverse DNS ยืนยัน hostname ของ crawler ทางการของ Google จากนั้น forward-resolve และตรวจว่าได้ IP เดิม บันทึกสถานะ URL รหัสตอบกลับ และเวลา IP ตัวอย่าง 203.0.113.24 ใช้เพื่อประกอบเอกสารเท่านั้น - หากผล DNS สองขั้นตอนไม่ตรงกัน ให้ทำเครื่องหมายคำขอว่ายังยืนยันไม่ได้ อย่าตัดสินจาก User-Agent เพียงอย่างเดียว ขั้นตอนนี้ครอบคลุมเฉพาะ Google; ใช้วิธียืนยันที่ผู้ให้บริการรายอื่นเผยแพร่ จำกัดการเข้าถึง log และเก็บข้อมูล IP เท่าระยะเวลาที่กำหนดไว้เท่านั้น