Crawl में अचानक बढ़ोतरी, बार-बार 5xx responses या अप्रत्याशित bot load दिखे तो यह प्रक्रिया इस्तेमाल करें। User-Agent string केवल पहचान का दावा है, प्रमाण नहीं।
काम का log sample तैयार करें
- Timestamp, source IP, User-Agent, method, path, status, response bytes और request duration export करें। एक तय समयावधि और timezone रखें।
- दावे किए गए crawler, status और path के अनुसार समूह बनाएँ। Requests और अलग-अलग IPs की संख्या अलग गिनें; raw requests से लोगों या visits का अनुमान न लगाएँ।
Access बदलने से पहले पहचान सत्यापित करें
- Googlebot के लिए source IP को Google की प्रकाशित IP ranges या दस्तावेज़ में दी reverse-DNS प्रक्रिया से सत्यापित करें। केवल मेल खाता User-Agent पर्याप्त नहीं है।
- सत्यापित requests की तुलना robots rules, crawl rate और server errors से करें। केवल ठीक उस abusive IP/path pattern को आगे भेजें; साक्ष्य और rollback रखें।
उदाहरण और अपेक्षित नतीजा
- उदाहरण: log row में
GET /page 200 "Googlebot"लिखा है। वास्तविक IP के लिए reverse DNS चलाएँ, आधिकारिक Google crawler hostname की पुष्टि करें, फिर forward lookup करके देखें कि वही मूल IP लौटता है। Status, URL, response code और समय दर्ज करें। उदाहरण IP 203.0.113.24 केवल दस्तावेज़ के लिए है। - यदि DNS की दोनों जाँचें मेल न खाएँ, तो request को unverified चिह्नित करें; केवल User-Agent देखकर निर्णय न लें। यह प्रक्रिया केवल Google को cover करती है; अन्य हर provider की प्रकाशित verification विधि अपनाएँ। Log access सीमित रखें और IP data केवल तय retention अवधि तक रखें।