代表的なサンプルで手順を実施し、根拠を保存して、次の対応を記録します。
有用なページをブロックせずにアクセスを確認する
- ホストとプロトコルごとにrobots.txtを取得します。user-agentグループ、allow／disallowルール、サイトマップの指定、変更履歴を記録します。
- 重要なcanonical URLを一覧にし、クロール可能かテストします。ページをインデックスから除外する目的でrobots.txtを使っていないことを確認します。
- ログイン、ステージング、検索、フィルターのURLは個別に確認します。robots.txtは、重複または価値の低いURL空間だと確認できたもののクロール管理だけに使います。非公開ページは認証で保護します。
- 小さな変更をデプロイし、robots.txtを再取得して、代表URLをSearch Consoleでテストし、ロールバック用のコピーを保管します。