Используйте инструкцию при всплеске обхода, повторных 5xx или неожиданной нагрузке. User-Agent — заявление клиента, а не подтверждение его личности.
Соберите пригодную выборку логов
- Выгрузите время, IP, User-Agent, метод, путь, код ответа, объём ответа и длительность запроса. Зафиксируйте период и часовой пояс.
- Сгруппируйте по заявленному боту, коду и пути. Считайте запросы и уникальные IP отдельно; не принимайте запросы за людей или визиты.
Подтвердите источник до изменения доступа
- Для Googlebot сверяйте IP со списком Google или выполняйте документированную обратную DNS-проверку. Одного совпадения User-Agent недостаточно.
- Сопоставьте подтверждённые запросы с robots.txt, частотой обхода и ошибками сервера. Ограничивайте только точный вредный шаблон IP/пути, сохраните основания и откат.
Пример и ожидаемый результат
- Пример: в логе есть
GET /page 200 "Googlebot". Для реального IP выполните reverse DNS, проверьте официальный домен робота Google, затем forward DNS и совпадение исходного IP. Запишите статус проверки, URL, код ответа и время. IP 203.0.113.24 — только пример. - Если проверки DNS не совпали, отметьте запрос как неподтверждённый; не решайте по одному User-Agent. Процедура относится только к Google; для других ботов используйте их официальную проверку. Ограничьте доступ к логам и срок хранения IP.