說明
robots.txt 控制爬蟲對 URL 的存取，但它並不是從搜尋結果中移除 URL 的可靠方法：其他來源仍可能讓系統知道該位址。noindex 指令表示可存取的頁面不應被納入搜尋索引。爬蟲通常需要抓取頁面才能讀取 noindex。檢查實際伺服器回應和存取控制，而不要只看文字文件。
虛構範例
訓練用預備配置同時對 /robots 設定了 Disallow 和 noindex。被禁止抓取的爬蟲可能不會獲取 HTML，因此也就讀不到 meta 標籤。團隊首先記錄頁面的預期狀態，並檢查每條指令的作用；然後只修改並重新測試預備配置。生產環境保持不變。私有區域和測試區域需要由網站擁有者另行決定如何處理。
練習
在您自己的預備環境或本機模擬網站上檢查 /robots：robots.txt；HTML 中的 meta robots 標籤；回應頭 X-Robots-Tag；狀態碼和重新導向；以及任何 WAF/CDN 限制或登入要求。將每條指令與預期狀態進行比較。規則變更僅保留在預備環境；生產環境變更需要所有者同意、審查和復原方案。
檢查清單
- 已針對正確的主機和協議檢查
robots.txt。 - 已檢查回應頭，而不只是 HTML。
- 將
Disallow和noindex視為不同指令。 - 私有內容使用身分驗證保護，而不只是依賴
robots.txt。 - 已分別記錄每種相關搜尋爬蟲的結果。
常見錯誤
加入 Disallow 後便認為頁面已從索引移除。如果公開頁面不應被收錄，請使用合適的收錄指令，並且不要阻止爬蟲讀取它；機密資料則必須通過存取控制保護。