请在有代表性的样本上执行步骤，保留证据，并记录下一步行动。
检查访问权限，同时避免屏蔽有用页面
- 针对每个主机和协议获取 robots.txt。记录 user-agent 分组、allow/disallow 规则、sitemap 声明和变更历史。
- 列出重要的 canonical URL，并测试是否允许抓取。检查是否错误地使用 robots.txt 来将页面从索引中移除。
- 分别检查登录、staging、搜索和筛选 URL。仅使用 robots.txt 管理已确认的重复或低价值 URL 空间的抓取；通过身份验证保护私有页面。
- 部署小范围变更后，再次获取 robots.txt，在 Search Console 中测试代表性 URL，并保留回滚副本。