請在具代表性的樣本上使用此程序、保留證據，並記錄下一步行動。
檢查存取權，不要封鎖有用頁面
- 為每個主機和通訊協定擷取 robots.txt。記錄 user-agent 群組、allow／disallow 規則、sitemap 宣告和變更歷程。
- 列出重要 canonical URL，並測試是否允許檢索。檢查是否錯誤地使用 robots.txt 將頁面從索引中移除。
- 分別檢查登入、測試環境、搜尋和篩選網址。只有確認重複或低價值網址空間後，才使用 robots.txt 管理檢索；私密頁面應以驗證機制保護。
- 部署小幅變更後再次擷取 robots.txt，在 Search Console 中測試代表性網址，並保留復原版本。