説明
robots.txt はURLへのクローラーアクセスを制御しますが、検索結果からURLを確実に削除する方法ではありません。別の場所で知られたURLは検索結果に残ることがあります。noindex は、アクセスできるページを検索に含めないよう指示します。クローラーが noindex を読むには、通常そのページを取得する必要があります。テキストファイルだけでなく、実際のサーバーレスポンスとアクセス制御を確認してください。
架空の例
演習用ステージング設定では /robots に Disallow と noindex の両方があります。アクセスを禁止されたクローラーはHTMLを取得できず、metaタグも読めない場合があります。まずチームはページの意図された状態を記録し、それぞれの指示の働きを確認します。そのうえでステージング設定だけを変更し、再テストします。本番環境は変更しません。非公開領域やテスト領域は、所有者が別途方針を決める必要があります。
実習
自分のステージング環境またはローカルのモックサイトで /robots を確認します。robots.txt、HTML内のmeta robotsタグ、レスポンスヘッダーの X-Robots-Tag、ステータスとリダイレクト、WAF/CDNの制限やログイン要件を確認してください。それぞれの指示をページの意図された状態と比較します。ルールの変更はステージング内にとどめます。本番環境への変更には所有者、レビュー、ロールバック計画が必要です。
チェックリスト
- 正しいホストとプロトコルの
robots.txtを確認した。 - HTMLだけでなくレスポンスヘッダーも確認した。
Disallowとnoindexを別の指示として扱っている。- 非公開コンテンツは
robots.txtだけでなく認証で保護している。 - 関連する検索クローラーごとに結果を記録した。
よくある間違い
Disallow を追加して、ページがインデックスから削除されたと思い込むこと。公開ページをインデックスに登録したくない場合は適切なインデックス登録指示を使い、クローラーがそれを読めるようにしてください。機密データにはアクセス制御が必要です。