व्याख्या
Crawler पेजों को लिंक, पहले से ज्ञात URL, sitemap और अन्य संकेतों से ढूँढ़ते हैं। आंतरिक लिंक उपयोगकर्ताओं और crawler को सामग्री तक पहुँचने में मदद करते हैं। Sitemap खोज के लिए पसंदीदा URL सूचीबद्ध करता है; यह किसी प्रणाली को उन्हें इंडेक्स करने का निर्देश नहीं देता। मिलते-जुलते URL के लिए canonical पसंदीदा संस्करण का संकेत देता है, और खोज प्रणाली अन्य संकेतों पर भी विचार कर सकती है।
काल्पनिक उदाहरण
प्रशिक्षण स्टेजिंग मॉकअप में एक कैटलॉग पेज /robots से लिंक करता है। टीम ने स्टेजिंग sitemap जाँचा और पुष्टि की कि /robots उसमें नहीं है; खोज crawler ने URL खोजा है या नहीं, इसकी पुष्टि नहीं हुई। स्टेजिंग पर टीम canonical URL को sitemap में जोड़ती है और परिणाम की मूल स्थिति से तुलना करती है। इससे खोजने की सुविधा और संकेतों की संगति बेहतर होती है, लेकिन यह साबित नहीं होता कि crawler ने URL खोज लिया या इंडेक्सिंग की गारंटी देता है। इस अभ्यास में बदलाव केवल स्टेजिंग sitemap में होता है।
अभ्यास
अपने स्टेजिंग वातावरण या स्थानीय मॉकअप में /robots जाँचें: क्या किसी पहुँच योग्य पेज से लिंक है; क्या वह अपेक्षित URL पर जाता है; क्या canonical sitemap से मेल खाता है; क्या स्थिति और redirects सही हैं; और क्या HTML canonical तथा sitemap में टकराव है? सुधार की ज़रूरत हो तो केवल स्टेजिंग पर परीक्षण करें और पहले/बाद की तुलना सहेजें।
चेकलिस्ट
- महत्वपूर्ण पेज तक साइट के सामान्य HTML लिंक से पहुँचा जा सकता है।
- लिंक का पाठ अर्थपूर्ण है और वह काम करने वाले URL पर जाता है।
- Sitemap में मौजूदा canonical URL हैं, त्रुटियाँ या redirects नहीं।
- Canonical किसी असंबंधित पेज या दूसरी भाषा पर नहीं जाता।
- Sorting/filter पैरामीटर और डुप्लिकेट अलग से जाँचे गए।
आम गलती
Sitemap सबमिट करने या फिर से crawl का अनुरोध करने को इंडेक्सिंग की गारंटी मान लेना। ये तरीके URL की जानकारी देते हैं या जाँच का अनुरोध करते हैं; परिणाम का वादा नहीं करते।