ใช้ขั้นตอนนี้กับกลุ่มตัวอย่างที่เป็นตัวแทน เก็บหลักฐานไว้ และบันทึกขั้นตอนถัดไป
ตรวจการเข้าถึงโดยไม่บล็อกหน้าที่มีประโยชน์
- ดึง robots.txt ของแต่ละ host และ protocol บันทึกกลุ่ม user-agent กฎ allow/disallow การระบุ sitemap และประวัติการเปลี่ยนแปลง
- รวบรวม URL canonical ที่สำคัญและทดสอบว่าอนุญาตให้ crawl หรือไม่ ตรวจว่าไม่ได้ใช้ robots.txt เพื่อนำหน้าออกจากดัชนี
- ตรวจ URL สำหรับ login, staging, search และ filter แยกกัน ใช้ robots.txt จัดการ crawl เฉพาะพื้นที่ URL ที่ยืนยันแล้วว่าซ้ำหรือมีคุณค่าต่ำ ปกป้องหน้าส่วนตัวด้วย authentication
- deploy การเปลี่ยนแปลงขนาดเล็ก ดึง robots.txt อีกครั้ง ทดสอบ URL ตัวแทนใน Search Console และเก็บสำเนาสำหรับ rollback