Kasuta seda roomamiskoormuse, korduvate 5xx-vigade või ootamatu robotiaktiivsuse korral. User-Agent on väide, mitte identiteedi tõend.
Koosta sobiv logivalim
- Ekspordi aeg, lähte-IP, User-Agent, meetod, tee, vastusekood, baitide arv ja kestus. Fikseeri ajavahemik ja ajavöönd.
- Rühmita väidetava roboti, oleku ja tee järgi. Loenda päringuid ja eri IP-aadresse eraldi; ära käsitle päringuid inimeste või külastustena.
Kinnita päritolu enne ligipääsu muutmist
- Googleboti puhul kontrolli IP-d Google’i avaldatud vahemikust või dokumenteeritud pöörd-DNS-i meetodiga. User-Agent üksi ei piisa.
- Võrdle kinnitatud päringuid robots.txt-i, roomamiskiiruse ja serverivigadega. Piira ainult täpset kahjulikku IP/tee mustrit ning säilita tõendid ja tagasipööramine.
Näide ja oodatav tulemus
- Näide: logis on
GET /page 200 "Googlebot". Päris IP puhul tee pöörd-DNS, kontrolli Google’i ametlikku robotidomeeni ning seejärel edasipäringut, mis peab tagastama algse IP. Pane kirja tulemus, URL, vastusekood ja aeg. IP 203.0.113.24 on ainult näidis. - Kui DNS-kontrollid ei ühti, märgi päring kinnitamata; ära otsusta ainult User-Agenti järgi. Protseduur kehtib ainult Google’i kohta; teiste robotite puhul kasuta nende ametlikku kontrolli. Piira logide ligipääsu ja IP säilitusaega.