當出現檢索流量暴增、重複 5xx 回應或非預期的機器人負載時，請使用此程序。User-Agent 字串只是一種聲稱，不能證明身分。
建立實用的記錄樣本
- 匯出時間戳記、來源 IP、User-Agent、方法、路徑、狀態、回應位元組和請求時間。使用固定時段和時區。
- 依聲稱的爬蟲、狀態和路徑分組。分別計算請求數和不同 IP 數量；不要從原始請求推斷人數或造訪次數。
變更存取權前先驗證身分
- 若為 Googlebot，請使用 Google 公布的 IP 範圍或文件所述的反向 DNS 程序驗證來源 IP。只有相符的 User-Agent 並不足夠。
- 比較已驗證的請求與 robots 規則、檢索速率和伺服器錯誤。只有在精確確認濫用的 IP／路徑模式後才升級處理；保留證據和復原方案。
範例與預期結果
- 範例：記錄列顯示
GET /page 200 "Googlebot"。對真實 IP 執行反向 DNS，確認官方 Google 爬蟲主機名稱，再對該主機名稱執行正向解析並驗證是否回到原始 IP。記錄狀態、網址、回應碼和時間。範例 IP 203.0.113.24 僅供文件示例使用。 - 若兩次 DNS 檢查不相符，請將該請求標記為未驗證；不要只根據 User-Agent 下結論。此程序只涵蓋 Google；其他供應商請使用各自公布的驗證方式。限制記錄檔存取，並只在設定的保留期間內保存 IP 資料。