說明
爬蟲會通過連結、已知 URL、網站地圖和其他訊號發現頁面。站內連結能幫助使用者和爬蟲存取內容。網站地圖列出希望系統發現的 URL；它並不是要求系統將這些 URL 收錄的指令。對於相似 URL，canonical 是表明首選版本的一種訊號，搜尋系統也可能考慮其他訊號。
虛構範例
在訓練用預備模擬網站中，目錄頁連結到 /robots。團隊檢查了預備網站地圖，並確認其中沒有 /robots；搜尋爬蟲是否已發現該 URL 仍未經驗證。團隊在預備環境中將 canonical URL 加入到網站地圖，並將結果與原狀態比較。這會改善可發現性和訊號一致性，但不能證明搜尋爬蟲已找到該 URL，也不保證它會被收錄。本練習只在預備環境中變更網站地圖。
練習
在您自己的預備環境或本機模擬網站中檢查 /robots：是否有來自可存取頁面的連結；連結是否指向預期 URL；canonical 是否與網站地圖一致；狀態碼和重新導向是否正確；HTML 中的 canonical 與網站地圖是否沖突？如需修正，只在預備環境測試，並保存前後比較。
檢查清單
- 使用者可通過網站上的普通 HTML 連結存取重要頁面。
- 連結文字有意義，且指向可用 URL。
- 網站地圖包含當前 canonical URL，而不是錯誤頁面或重新導向位址。
- canonical 沒有指向無關頁面或其他語言版本。
- 已單獨檢查排序/篩選參數和重復頁面。
常見錯誤
把提交網站地圖或請求重新抓取當作收錄保證。這些方法只是報告 URL 或請求檢查，並不承諾結果。