Vérifier l’accès et les directives d’exploration et d’indexation

Explication

robots.txt contrôle l’accès des robots aux URL, mais ne constitue pas un moyen fiable de retirer une URL des résultats : son adresse peut être connue par ailleurs. Une directive noindex indique qu’une page accessible ne doit pas être incluse dans les résultats de recherche. Un robot doit généralement récupérer la page pour lire noindex. Vérifiez les réponses réelles du serveur et les contrôles d’accès, pas uniquement le contenu du fichier.

Exemple fictif

La configuration de test de /robots contient à la fois Disallow et noindex. Un robot auquel l’exploration est interdite peut ne pas récupérer le HTML et donc ne pas lire la balise meta. L’équipe consigne d’abord l’état souhaité de la page et vérifie l’effet de chaque directive ; elle modifie et reteste ensuite uniquement la configuration de test. La production ne change pas. La protection des sections privées et de test doit faire l’objet d’une décision distincte du propriétaire.

Exercice

Dans votre environnement de test ou votre maquette locale, vérifiez pour /robots : robots.txt ; la balise meta robots dans le HTML ; l’en-tête de réponse X-Robots-Tag ; le statut et les redirections ; les restrictions WAF/CDN et les exigences de connexion. Comparez chaque directive à l’état souhaité. Gardez les changements de règles dans l’environnement de test ; la production exige l’accord du propriétaire, une revue et un plan de retour arrière.

Liste de contrôle

• robots.txt a été vérifié pour le bon hôte et le bon protocole.
• Les en-têtes de réponse ont été contrôlés, pas seulement le HTML.
• Disallow et noindex sont traités comme des directives différentes.
• L’authentification protège les contenus privés, pas seulement robots.txt.
• Les résultats sont consignés séparément pour chaque robot de recherche pertinent.

Erreur fréquente

Ajouter Disallow et supposer que la page a été retirée de l’index. Si une page publique ne doit pas être indexée, utilisez une directive d’indexation adaptée sans empêcher le robot de la lire ; les données confidentielles exigent un contrôle d’accès.

Sources principales

• Règles Google relatives à robots.txt
• Règles relatives à Robots meta et X-Robots-Tag
• Contrôler ce que vous partagez dans la recherche