Comprueba el acceso sin bloquear páginas útiles
Solicita robots.txt para cada host y protocolo. Registra los grupos de user-agent, las reglas allow/disallow, las declaraciones de sitemap y el historial de cambios.
Enumera las URL canonical importantes y prueba si se permite su rastreo. Comprueba que no se esté usando robots.txt para retirar una página del índice.
Comprueba por separado las URL de inicio de sesión, pruebas, búsqueda y filtros. Usa robots.txt solo para gestionar el rastreo de espacios de URL duplicados o de poco valor confirmados; protege las páginas privadas con autenticación.
Despliega un cambio pequeño, vuelve a solicitar robots.txt, prueba URL representativas en Search Console y conserva una copia para revertirlo.