Utilisez cette méthode en cas de pic d’exploration, d’erreurs 5xx répétées ou de charge inattendue. Un User-Agent est une déclaration, pas une preuve d’identité.
Constituez un échantillon de journaux exploitable
- Exportez l’heure, l’IP source, le User-Agent, la méthode, le chemin, le statut, les octets et la durée. Fixez la période et le fuseau.
- Regroupez par robot déclaré, statut et chemin. Comptez séparément requêtes et IP distinctes ; ne les assimilez pas à des personnes ou visites.
Vérifiez l’origine avant de modifier l’accès
- Pour Googlebot, vérifiez l’IP avec les plages publiées par Google ou la procédure DNS inverse documentée. Le User-Agent seul ne suffit pas.
- Comparez les requêtes vérifiées aux règles robots, au rythme et aux erreurs serveur. Limitez uniquement le motif IP/chemin nuisible ; conservez preuves et retour arrière.
Exemple et résultat attendu
- Exemple : le journal indique
GET /page 200 "Googlebot". Pour une vraie IP, faites un DNS inverse, vérifiez le domaine officiel du robot Google, puis une recherche directe qui doit renvoyer l’IP initiale. Notez statut, URL, code et heure. 203.0.113.24 est un exemple. - Si les contrôles DNS diffèrent, marquez la requête comme non vérifiée ; ne vous fiez pas au seul User-Agent. Cette méthode ne concerne que Google ; utilisez la vérification officielle des autres robots. Limitez l’accès aux journaux et la conservation des IP.