คำอธิบาย
robots.txt ควบคุมการเข้าถึง URL ของ crawler แต่ไม่ใช่วิธีที่เชื่อถือได้ในการนำ URL ออกจากผลการค้นหา เพราะระบบอาจรู้จักที่อยู่นั้นจากแหล่งอื่น คำสั่ง noindex ระบุว่าไม่ควรรวมหน้าที่เข้าถึงได้ไว้ในการค้นหา โดยทั่วไป crawler ต้องดึงหน้าเพื่ออ่าน noindex ให้ตรวจการตอบกลับจริงจากเซิร์ฟเวอร์และการควบคุมการเข้าถึง ไม่ใช่ดูเฉพาะข้อความในไฟล์
ตัวอย่างสมมติ
การตั้งค่า staging สำหรับ /robots ในแบบฝึกมีทั้ง Disallow และ noindex crawler ที่ถูกห้ามอาจไม่ดึง HTML จึงอ่าน meta tag ไม่ได้ ขั้นแรกทีมบันทึกสถานะที่ต้องการของหน้าและตรวจผลของแต่ละคำสั่ง จากนั้นจึงเปลี่ยนและทดสอบซ้ำเฉพาะการตั้งค่า staging ไม่มีการเปลี่ยนแปลงใด ๆ บน production ส่วนพื้นที่ส่วนตัวและพื้นที่ทดสอบต้องให้เจ้าของตัดสินใจแยกต่างหาก
แบบฝึกปฏิบัติ
บน staging หรือ mockup ในเครื่องของคุณเอง ให้ตรวจ /robots: robots.txt; meta robots tag ใน HTML; response header X-Robots-Tag; สถานะและ redirect; รวมถึงข้อจำกัดจาก WAF/CDN หรือข้อกำหนดการเข้าสู่ระบบ เปรียบเทียบแต่ละคำสั่งกับสถานะที่ต้องการ เปลี่ยนกฎใน staging เท่านั้น; การเปลี่ยนแปลงบน production ต้องมีเจ้าของ การตรวจทาน และแผน rollback
เช็กลิสต์
- ตรวจ
robots.txtของ host และ protocol ที่ถูกต้องแล้ว - ตรวจ response header ไม่ใช่ดูเฉพาะ HTML
- ปฏิบัติต่อ
Disallowและnoindexว่าเป็นคนละคำสั่ง - ปกป้องเนื้อหาส่วนตัวด้วยระบบยืนยันตัวตน ไม่ใช่
robots.txtเพียงอย่างเดียว - บันทึกผลแยกตาม crawler ค้นหาที่เกี่ยวข้องแต่ละตัว
ข้อผิดพลาดที่พบบ่อย
เพิ่ม Disallow แล้วคิดว่าหน้าถูกนำออกจากดัชนีแล้ว หากหน้าเว็บสาธารณะไม่ควรถูกจัดทำดัชนี ให้ใช้คำสั่งควบคุมการจัดทำดัชนีที่เหมาะสมและอย่าปิดกั้น crawler ไม่ให้อ่านคำสั่งนั้น; ข้อมูลลับต้องใช้การควบคุมการเข้าถึง