คำอธิบาย
Crawler ค้นพบหน้าผ่านลิงก์ URL ที่รู้จักอยู่แล้ว sitemap และสัญญาณอื่น ๆ ลิงก์ภายในช่วยให้ทั้งผู้ใช้และ crawler เข้าถึงเนื้อหาได้ Sitemap แสดง URL ที่ต้องการให้ค้นพบ แต่ไม่ได้สั่งให้ระบบจัดทำดัชนี สำหรับ URL ที่คล้ายกัน canonical เป็นสัญญาณบอกเวอร์ชันที่ต้องการ และระบบค้นหาอาจพิจารณาสัญญาณอื่นด้วย
ตัวอย่างสมมติ
ใน mockup บน staging สำหรับฝึก หน้าแค็ตตาล็อกมีลิงก์ไปยัง /robots ทีมตรวจ sitemap บน staging และยืนยันว่าไม่มี /robots อยู่ในนั้น; ส่วน crawler ค้นพบ URL นี้แล้วหรือไม่ยังยืนยันไม่ได้ บน staging ทีมเพิ่ม URL canonical ลงใน sitemap แล้วเปรียบเทียบผลกับสถานะเดิม วิธีนี้ช่วยให้ค้นพบหน้าได้ง่ายขึ้นและทำให้สัญญาณสอดคล้องกัน แต่ไม่ได้พิสูจน์ว่า crawler พบ URL หรือรับประกันการจัดทำดัชนี การเปลี่ยน sitemap สำหรับแบบฝึกนี้ทำบน staging เท่านั้น
แบบฝึกปฏิบัติ
บน staging หรือ mockup ในเครื่องของคุณเอง ให้ตรวจ /robots: มีลิงก์จากหน้าที่เข้าถึงได้หรือไม่; ลิงก์ไปยัง URL ที่คาดไว้หรือไม่; canonical ตรงกับ sitemap หรือไม่; สถานะและ redirect ถูกต้องหรือไม่; และ canonical ใน HTML ขัดกับ sitemap หรือไม่ หากต้องแก้ ให้ทดสอบเฉพาะบน staging และบันทึกการเปรียบเทียบก่อน/หลัง
เช็กลิสต์
- เข้าถึงหน้าสำคัญผ่านลิงก์ HTML ทั่วไปจากเว็บไซต์ได้
- ลิงก์มีข้อความที่สื่อความหมายและชี้ไปยัง URL ที่ใช้งานได้
- Sitemap มี URL canonical ปัจจุบัน ไม่ใช่ข้อผิดพลาดหรือ redirect
- Canonical ไม่ชี้ไปหน้าที่ไม่เกี่ยวข้องหรือคนละภาษา
- ตรวจพารามิเตอร์การเรียง/กรองและหน้าซ้ำแยกต่างหาก
ข้อผิดพลาดที่พบบ่อย
คิดว่าการส่ง sitemap หรือขอให้ crawl ใหม่รับประกันการจัดทำดัชนี วิธีเหล่านี้เพียงแจ้ง URL หรือขอให้ตรวจสอบ ไม่ได้สัญญาผลลัพธ์