इस प्रक्रिया को प्रतिनिधि नमूने पर लागू करें, साक्ष्य सुरक्षित रखें और अगली कार्रवाई दर्ज करें।
उपयोगी pages को block किए बिना access जाँचें
- हर host और protocol के लिए robots.txt प्राप्त करें। user-agent groups, allow/disallow rules, sitemap declarations और बदलाव का इतिहास दर्ज करें।
- महत्वपूर्ण canonical URLs की सूची बनाएँ और जाँचें कि crawling की अनुमति है। देखें कि page को index से हटाने के लिए robots.txt का इस्तेमाल तो नहीं हो रहा।
- Login, staging, search और filter URLs को अलग जाँचें। robots.txt से केवल पुष्टि किए गए duplicate या कम-मूल्य URL क्षेत्रों की crawling नियंत्रित करें; निजी pages को authentication से सुरक्षित करें।
- छोटा बदलाव deploy करें, robots.txt फिर प्राप्त करें, Search Console में प्रतिनिधि URLs जाँचें और rollback copy रखें।