استخدم الإجراء على عينة ممثلة، واحتفظ بالأدلة، وسجّل الإجراء التالي.
تحقق من إمكانية الوصول من دون حظر الصفحات المفيدة
- اجلب robots.txt لكل مضيف وبروتوكول. وسجّل مجموعات user-agent وقواعد allow/disallow وتصريحات sitemap وسجل التغييرات.
- أدرج عناوين URL الأساسية (canonical) المهمة واختبر ما إذا كان الزحف مسموحًا. وتحقق من عدم استخدام robots.txt لإزالة صفحة من الفهرس.
- افحص عناوين URL الخاصة بتسجيل الدخول وبيئات الاختبار والبحث والفلاتر كلًا على حدة. استخدم robots.txt لإدارة الزحف إلى مساحات عناوين URL المكررة أو منخفضة القيمة بعد التأكد منها فقط؛ واحمِ الصفحات الخاصة بالمصادقة.
- انشر تغييرًا صغيرًا، واجلب robots.txt مجددًا، واختبر عناوين URL ممثلة في Search Console، واحتفظ بنسخة للتراجع.