Käytä tätä, kun huomaat crawl-piikin, toistuvia 5xx-virheitä tai odottamatonta bottikuormaa. User-Agent on väite, ei henkilöllisyyden todiste.
Kokoa käyttökelpoinen lokiotanta
- Vie aika, lähde-IP, User-Agent, metodi, polku, tila, tavumäärä ja kesto. Rajaa aikaväli ja aikavyöhyke.
- Ryhmittele väitetyn botin, tilan ja polun mukaan. Laske pyynnöt ja eri IP-osoitteet erikseen; älä tulkitse pyyntöjä ihmisiksi tai käynneiksi.
Varmista alkuperä ennen pääsyn muuttamista
- Tarkista Googlebotin IP Googlen julkaisemista alueista tai dokumentoidulla reverse DNS -menetelmällä. User-Agent-yhtäläisyys ei riitä.
- Vertaa varmennettuja pyyntöjä robots-sääntöihin, crawl-tahtiin ja palvelinvirheisiin. Rajaa vain tarkka haitallinen IP/polku-kuvio ja säilytä näyttö sekä palautuskeino.
Esimerkki ja odotettu tulos
- Esimerkki: lokissa lukee
GET /page 200 "Googlebot". Tee oikealle IP:lle reverse DNS, varmista Googlen virallinen crawler-verkkotunnus ja tee forward-haku, jonka on palautettava alkuperäinen IP. Kirjaa tulos, URL, statuskoodi ja aika. IP 203.0.113.24 on vain esimerkki. - Jos DNS-tarkistukset eivät täsmää, merkitse pyyntö vahvistamattomaksi; älä päätä pelkän User-Agentin perusteella. Menetelmä koskee vain Googlea; käytä muille niiden virallista tarkistusta. Rajoita lokien käyttöä ja IP-tietojen säilytysaikaa.