Użyj tej procedury przy skoku crawlowania, powtarzających się błędach 5xx lub nieoczekiwanym obciążeniu botami. User-Agent to deklaracja, nie dowód tożsamości.
Przygotuj użyteczną próbkę logów
- Wyeksportuj czas, IP źródłowe, User-Agent, metodę, ścieżkę, status, bajty odpowiedzi i czas żądania. Ustal okres i strefę czasową.
- Grupuj według deklarowanego bota, statusu i ścieżki. Osobno licz żądania i unikalne IP; nie utożsamiaj żądań z osobami ani wizytami.
Zweryfikuj pochodzenie przed zmianą dostępu
- Dla Googlebota sprawdź IP na liście Google lub użyj udokumentowanej weryfikacji reverse DNS. Sam User-Agent nie wystarcza.
- Porównaj zweryfikowane żądania z robots.txt, tempem crawlowania i błędami serwera. Ograniczaj tylko konkretny szkodliwy wzorzec IP/ścieżki; zachowaj dowody i rollback.
Przykład i oczekiwany wynik
- Przykład: log zawiera
GET /page 200 "Googlebot". Dla prawdziwego IP wykonaj reverse DNS, sprawdź oficjalną domenę crawlera Google, a następnie forward DNS z wynikiem równym pierwotnemu IP. Zapisz status, URL, kod odpowiedzi i czas. IP 203.0.113.24 to tylko przykład. - Jeśli kontrole DNS są rozbieżne, oznacz żądanie jako niezweryfikowane; nie oceniaj go wyłącznie po User-Agent. Procedura dotyczy tylko Google; dla innych botów użyj ich oficjalnej weryfikacji. Ogranicz dostęp do logów i okres przechowywania IP.