الشرح
يتحكم robots.txt في وصول برامج الزحف إلى عناوين URL، لكنه ليس وسيلة موثوقة لإزالة URL من النتائج؛ فقد يكون العنوان معروفًا من مصدر آخر. يعبّر توجيه noindex عن أن الصفحة المتاحة لا ينبغي إدراجها في البحث. ويحتاج برنامج الزحف عمومًا إلى جلب الصفحة كي يقرأ noindex. تحقّق من استجابات الخادم الفعلية وضوابط الوصول، لا من نص الملف وحده.
مثال افتراضي
يتضمن إعداد بيئة الاختبار التدريبية للمسار /robots كلًا من Disallow وnoindex. قد لا يجلب برنامج الزحف المحظور HTML، وبالتالي قد لا يقرأ وسم meta. يسجل الفريق أولًا الحالة المقصودة للصفحة ويتحقق من أثر كل توجيه؛ ثم يغيّر إعداد بيئة الاختبار فقط ويعيد الفحص. لا يتغير أي شيء في الإنتاج. وتتطلب الأقسام الخاصة والاختبارية قرارًا منفصلًا من المالك.
التطبيق العملي
في بيئة الاختبار أو النموذج المحلي الخاص بك، تحقّق من /robots: من robots.txt؛ ووسم meta robots في HTML؛ وترويسة الاستجابة X-Robots-Tag؛ والحالة وعمليات إعادة التوجيه؛ وأي قيود WAF أو CDN أو متطلبات تسجيل الدخول. قارن كل توجيه بالحالة المقصودة. أبقِ أي تغييرات للقواعد في بيئة الاختبار؛ أما الإنتاج فيتطلب موافقة المالك والمراجعة وخطة تراجع.
قائمة التحقق
- تم التحقق من
robots.txtللمضيف والبروتوكول الصحيحين. - تم فحص ترويسات الاستجابة، وليس HTML فقط.
- تم التعامل مع
Disallowوnoindexكتوجيهين مختلفين. - المحتوى الخاص محمي بالمصادقة، وليس بـ
robots.txtوحده. - سُجلت النتائج لكل برنامج زحف بحث ذي صلة على حدة.
خطأ شائع
إضافة Disallow وافتراض أن الصفحة أزيلت من الفهرس. إذا كان ينبغي ألا تُفهرس صفحة عامة، فاستخدم توجيه فهرسة مناسبًا ولا تمنع برنامج الزحف من قراءته؛ أما البيانات السرية فتتطلب ضوابط وصول.