Naudokite pastebėję nuskaitymo šuolį, pasikartojančias 5xx klaidas ar netikėtą roboto apkrovą. „User-Agent“ yra teiginys, o ne tapatybės įrodymas.
Sudarykite tinkamą žurnalų imtį
- Eksportuokite laiką, šaltinio IP, „User-Agent“, metodą, kelią, atsakymo kodą, baitų skaičių ir trukmę. Nurodykite laikotarpį ir laiko juostą.
- Grupuokite pagal nurodytą robotą, būseną ir kelią. Atskirai skaičiuokite užklausas ir skirtingus IP; nelaikykite užklausų žmonėmis ar apsilankymais.
Patvirtinkite kilmę prieš keisdami prieigą
- „Googlebot“ atveju tikrinkite IP pagal „Google“ sąrašą arba dokumentuotą atvirkštinio DNS procedūrą. Vien „User-Agent“ nepakanka.
- Patvirtintas užklausas palyginkite su robots.txt taisyklėmis, nuskaitymo dažniu ir serverio klaidomis. Ribokite tikslų žalingą IP/kelią ir išsaugokite įrodymus bei grąžinimo planą.
Pavyzdys ir laukiamas rezultatas
- Pavyzdys: žurnale yra
GET /page 200 "Googlebot". Tikram IP atlikite atvirkštinę DNS paiešką, patikrinkite oficialų „Google“ roboto domeną, tada tiesioginę paiešką, kuri turi grąžinti pradinį IP. Užrašykite rezultatą, URL, atsakymo kodą ir laiką. IP 203.0.113.24 yra tik pavyzdys. - Jei DNS patikros nesutampa, pažymėkite užklausą kaip nepatvirtintą; nespręskite vien pagal „User-Agent“. Procedūra taikoma tik „Google“; kitiems robotams naudokite jų oficialų patikros būdą. Apribokite žurnalų prieigą ir IP saugojimo trukmę.