说明
爬虫会通过链接、已知 URL、站点地图和其他信号发现页面。站内链接能帮助用户和爬虫访问内容。站点地图列出希望系统发现的 URL；它并不是要求系统将这些 URL 收录的指令。对于相似 URL，canonical 是表明首选版本的一种信号，搜索系统也可能考虑其他信号。
虚构示例
在训练用预发布模拟站点中，目录页面链接到 /robots。团队检查了预发布站点地图，并确认其中没有 /robots；搜索爬虫是否已发现该 URL 仍未经核实。团队在预发布环境中将 canonical URL 添加到站点地图，并将结果与原状态对比。这会改善可发现性和信号一致性，但不能证明搜索爬虫已找到该 URL，也不保证它会被收录。本练习只在预发布环境中变更站点地图。
练习
在你自己的预发布环境或本地模拟站点中检查 /robots：是否有来自可访问页面的链接；链接是否指向预期 URL；canonical 是否与站点地图一致；状态码和重定向是否正确；HTML 中的 canonical 与站点地图是否冲突？如需修正，只在预发布环境测试，并保存前后对比。
检查清单
- 用户可通过网站上的普通 HTML 链接访问重要页面。
- 链接文字有意义，且指向可用 URL。
- 站点地图包含当前 canonical URL，而不是错误页面或重定向地址。
- canonical 没有指向无关页面或其他语言版本。
- 已单独检查排序/筛选参数和重复页面。
常见错误
把提交站点地图或请求重新抓取当作收录保证。这些方法只是报告 URL 或请求检查，并不承诺结果。