Resultado
Podrás distinguir una restricción de rastreo de una restricción de indexación y comprobar si el servidor, la CDN o la autenticación bloquean el acceso.
Explicación
robots.txt controla el acceso de los rastreadores a las URL, pero no es un método fiable para quitar una URL de los resultados: la dirección puede conocerse por otras fuentes. Una directiva noindex indica que una página accesible no debe incluirse en la búsqueda. Por lo general, el rastreador tiene que obtener la página para leer noindex. Comprueba las respuestas reales del servidor y los controles de acceso, no solo el contenido del archivo.
Ejemplo ficticio
La configuración de pruebas de la página /robots contiene tanto Disallow como noindex. Es posible que un rastreador al que se le deniegue el acceso no obtenga el HTML y, por tanto, no lea la etiqueta meta. Primero, el equipo anota el estado previsto de la página y comprueba qué hace cada directiva; después cambia y vuelve a probar únicamente la configuración de pruebas. No se modifica producción. Las secciones privadas y de prueba requieren una decisión independiente del propietario.
Práctica
En tu propio entorno de pruebas o maqueta local, comprueba /robots: robots.txt; la etiqueta meta robots del HTML; el encabezado de respuesta X-Robots-Tag; el estado y las redirecciones; y cualquier restricción del WAF/CDN o requisito de inicio de sesión. Compara cada directiva con el estado previsto. Mantén cualquier cambio de reglas en el entorno de pruebas; para producción se requieren el propietario, una revisión y un plan de reversión.
Lista de comprobación
- Se comprobó
robots.txtpara el host y el protocolo correctos. - Se comprobaron los encabezados de respuesta, no solo el HTML.
Disallowynoindexse tratan como directivas distintas.- El contenido privado se protege con autenticación, no solo con
robots.txt. - Los resultados se anotan por separado para cada rastreador de búsqueda pertinente.
Error habitual
Añadir Disallow y suponer que la página se ha eliminado del índice. Si una página pública no debe indexarse, utiliza una directiva de indexación adecuada y no impidas que el rastreador la lea; los datos confidenciales requieren control de acceso.