Verificar las solicitudes de Googlebot en los registros del servidor

Exporta la marca de tiempo, la IP de origen, User-Agent, método, ruta, estado, bytes de respuesta y duración de la solicitud. Usa un intervalo fijo y una zona horaria.

Agrupa por rastreador declarado, estado y ruta. Cuenta por separado las solicitudes y las IP distintas; no deduzcas personas ni visitas a partir de las solicitudes sin procesar.

Para Googlebot, verifica la IP de origen con los rangos de IP publicados por Google o el procedimiento documentado de DNS inverso. Una coincidencia de User-Agent por sí sola no basta.

Compara las solicitudes verificadas con las reglas robots, la frecuencia de rastreo y los errores del servidor. Escala únicamente el patrón exacto de IP/ruta abusivo; conserva las evidencias y una opción para revertir.

Ejemplo: una fila de registro dice GET /page 200 "Googlebot". Para una IP real, ejecuta una consulta de DNS inverso, confirma un nombre de host oficial de rastreador de Google y luego resuélvelo en sentido directo para verificar que devuelve la IP original. Registra el estado, la URL, el código de respuesta y la hora. La IP de ejemplo 203.0.113.24 es solo para documentación.

Si las dos comprobaciones de DNS no coinciden, marca la solicitud como no verificada; no decidas basándote solo en User-Agent. Este procedimiento cubre únicamente Google; usa el método de verificación publicado por cada otro proveedor. Restringe el acceso a los registros y conserva los datos de IP solo durante el periodo de retención configurado.