Gunakan prosedur pada sampel yang mewakili, simpan buktinya dan catat tindakan seterusnya.
Semak akses tanpa menyekat halaman berguna
- Ambil robots.txt untuk setiap hos dan protokol. Catat kumpulan user-agent, peraturan allow/disallow, pengisytiharan sitemap dan sejarah perubahan.
- Senaraikan URL canonical yang penting dan uji sama ada crawl dibenarkan. Semak supaya robots.txt tidak digunakan untuk mengeluarkan halaman daripada indeks.
- Semak URL log masuk, staging, carian dan penapis secara berasingan. Gunakan robots.txt hanya untuk mengawal crawl ruang URL pendua atau bernilai rendah yang telah disahkan; lindungi halaman peribadi dengan pengesahan.
- Deploy perubahan kecil, ambil robots.txt sekali lagi, uji URL wakil dalam Search Console dan simpan salinan untuk rollback.