Gunakan ini apabila muncul lonjakan crawl, respons 5xx berulang atau beban bot yang tidak dijangka. Rentetan User-Agent ialah dakwaan, bukan bukti identiti.
Bina sampel log yang berguna
- Eksport cap masa, IP sumber, User-Agent, kaedah, laluan, status, bait respons dan tempoh permintaan. Kekalkan tetingkap masa dan zon waktu yang tetap.
- Kumpulkan mengikut crawler yang didakwa, status dan laluan. Kira permintaan dan IP unik secara berasingan; jangan membuat kesimpulan tentang orang atau lawatan berdasarkan permintaan mentah.
Sahkan identiti sebelum mengubah akses
- Bagi Googlebot, sahkan IP sumber menggunakan julat IP terbitan Google atau prosedur reverse-DNS yang didokumenkan. User-Agent yang sepadan sahaja tidak mencukupi.
- Bandingkan permintaan yang disahkan dengan peraturan robots, kadar crawl dan ralat pelayan. Eskalasi hanya corak IP/laluan yang tepat dan menyalahgunakan; simpan bukti dan salinan rollback.
Contoh dan hasil yang dijangka
- Contoh: satu baris log menyatakan
GET /page 200 "Googlebot". Bagi IP sebenar, jalankan reverse DNS, sahkan nama hos crawler Google rasmi, kemudian buat carian DNS ke hadapan dan pastikan IP asal dipulangkan. Catat status, URL, kod respons dan masa. IP contoh 203.0.113.24 hanya untuk dokumentasi. - Jika kedua-dua semakan DNS tidak sepadan, tandakan permintaan sebagai belum disahkan; jangan membuat keputusan berdasarkan User-Agent sahaja. Prosedur ini hanya meliputi Google; gunakan kaedah pengesahan terbitan setiap penyedia lain. Hadkan akses log dan simpan data IP hanya sepanjang tempoh pengekalan yang ditetapkan.