Penjelasan
robots.txt mengawal akses crawler kepada URL, tetapi bukan cara yang boleh diharap untuk mengeluarkan URL daripada hasil: alamat itu mungkin diketahui melalui sumber lain. Arahan noindex menyatakan bahawa halaman yang boleh diakses tidak patut dimasukkan dalam carian. Crawler lazimnya perlu mengambil halaman untuk membaca noindex. Semak respons pelayan dan kawalan akses sebenar, bukan teks fail sahaja.
Contoh rekaan
Konfigurasi staging latihan untuk /robots mempunyai kedua-dua Disallow dan noindex. Crawler yang dilarang mungkin tidak mengambil HTML, lalu tidak dapat membaca meta tag. Pasukan terlebih dahulu mencatat keadaan halaman yang dikehendaki dan menyemak kesan setiap arahan; kemudian hanya konfigurasi staging yang diubah dan diuji semula. Tiada perubahan dibuat pada production. Sekatan pada bahagian peribadi dan ujian memerlukan keputusan berasingan daripada pemilik.
Amalan
Pada persekitaran staging atau mockup tempatan anda sendiri, semak /robots: robots.txt; meta tag robots dalam HTML; pengepala respons X-Robots-Tag; status dan redirect; serta sekatan WAF/CDN atau keperluan log masuk. Bandingkan setiap arahan dengan keadaan yang dikehendaki. Kekalkan sebarang perubahan peraturan dalam staging; perubahan production memerlukan pemilik, semakan dan pelan rollback.
Senarai semak
robots.txtdisemak untuk host dan protokol yang betul.- Pengepala respons disemak, bukan HTML sahaja.
Disallowdannoindexdianggap sebagai arahan yang berbeza.- Kandungan peribadi dilindungi dengan pengesahan, bukan
robots.txtsahaja. - Hasil direkodkan secara berasingan bagi setiap crawler carian yang berkaitan.
Kesilapan lazim
Menambah Disallow dan menganggap halaman telah dikeluarkan daripada indeks. Jika halaman awam tidak patut diindeks, gunakan arahan pengindeksan yang sesuai dan jangan halang crawler daripada membacanya; data sulit memerlukan kawalan akses.