व्याख्या
robots.txt crawler की URL तक पहुँच नियंत्रित करता है, लेकिन किसी URL को खोज-परिणामों से हटाने का भरोसेमंद तरीका नहीं है: उसका पता कहीं और से ज्ञात हो सकता है। noindex निर्देश बताता है कि पहुँच योग्य पेज को खोज में शामिल न किया जाए। crawler को noindex पढ़ने के लिए सामान्यतः पेज प्राप्त करना पड़ता है। केवल टेक्स्ट फ़ाइल नहीं, वास्तविक सर्वर प्रतिक्रियाएँ और पहुँच नियंत्रण जाँचें।
काल्पनिक उदाहरण
प्रशिक्षण स्टेजिंग कॉन्फ़िगरेशन में /robots के लिए Disallow और noindex दोनों हैं। जिस crawler को रोक दिया गया है, वह HTML प्राप्त नहीं कर पाएगा और इसलिए meta tag नहीं पढ़ सकेगा। पहले टीम पेज की अपेक्षित स्थिति दर्ज करती है और जाँचती है कि हर निर्देश क्या करता है; फिर वह केवल स्टेजिंग कॉन्फ़िगरेशन बदलकर दोबारा परीक्षण करती है। प्रोडक्शन में कुछ नहीं बदलता। निजी और परीक्षण अनुभागों के बारे में अलग निर्णय साइट-मालिक को करना चाहिए।
अभ्यास
अपने स्टेजिंग वातावरण या स्थानीय मॉकअप पर /robots के लिए ये चीज़ें जाँचें: robots.txt; HTML का meta robots tag; X-Robots-Tag response header; स्थिति और redirects; तथा WAF/CDN प्रतिबंध या login की आवश्यकता। हर निर्देश की तुलना अपेक्षित स्थिति से करें। नियमों में बदलाव स्टेजिंग तक सीमित रखें; प्रोडक्शन के लिए मालिक, समीक्षा और rollback योजना आवश्यक है।
चेकलिस्ट
- सही host और protocol के लिए
robots.txtजाँचा गया। - केवल HTML नहीं, response headers भी जाँचे गए।
Disallowऔरnoindexको अलग-अलग निर्देश माना गया।- निजी सामग्री केवल
robots.txtसे नहीं, प्रमाणीकरण से सुरक्षित है। - हर संबंधित search crawler के परिणाम अलग दर्ज किए गए।
आम गलती
Disallow जोड़कर मान लेना कि पेज इंडेक्स से हट गया। यदि सार्वजनिक पेज को इंडेक्स नहीं करना है, तो उपयुक्त indexing निर्देश दें और crawler को उसे पढ़ने से न रोकें; गोपनीय डेटा के लिए access control आवश्यक है।