Appliquez la procédure à un échantillon représentatif, conservez les preuves et notez l’action suivante.
Vérifiez l’accès sans bloquer les pages utiles
- Récupérez robots.txt pour chaque hôte et protocole. Notez les groupes user-agent, règles allow/disallow, sitemaps et historique.
- Listez les URL canoniques importantes et vérifiez leur accès au crawl. N’utilisez pas robots.txt pour retirer une URL de l’index.
- Vérifiez séparément connexion, staging, recherche et filtres. Utilisez robots.txt uniquement pour gérer le crawl des URL dupliquées ou peu utiles ; protégez les pages privées par authentification.
- Déployez une petite modification, récupérez robots.txt, testez des URL représentatives dans Search Console et gardez une copie de retour arrière.