Açıklama
robots.txt tarayıcıların URL'lere erişimini kontrol eder, ancak bir URL'yi sonuçlardan kaldırmanın güvenilir bir yolu değildir: adres başka bir yerden biliniyor olabilir. noindex yönergesi, erişilebilir bir sayfanın arama sonuçlarına dahil edilmemesi gerektiğini belirtir. Bir tarayıcının noindex yönergesini okuyabilmesi için genellikle sayfayı alması gerekir. Yalnızca metin dosyasını değil, gerçek sunucu yanıtlarını ve erişim kontrollerini inceleyin.
Kurgusal örnek
Eğitim amaçlı staging yapılandırmasında /robots için hem Disallow hem de noindex bulunur. Taraması engellenen bir tarayıcı HTML'yi alamayabilir ve bu nedenle meta etiketi okuyamayabilir. Ekip önce sayfanın hedeflenen durumunu kaydeder ve her yönergenin ne yaptığını kontrol eder; sonra yalnızca staging yapılandırmasını değiştirip yeniden test eder. Production'da hiçbir şey değişmez. Özel ve test bölümleri için sahibin ayrıca karar vermesi gerekir.
Uygulama
Kendi staging ortamınızda veya yerel maketinizde /robots için şunları kontrol edin: robots.txt; HTML'deki meta robots etiketi; yanıttaki X-Robots-Tag başlığı; durum kodu ve yönlendirmeler; WAF/CDN kısıtlamaları veya oturum açma gerekliliği. Her yönergeyi hedeflenen durumla karşılaştırın. Kural değişikliklerini staging'de tutun; production için sahibin onayı, inceleme ve rollback planı gerekir.
Kontrol listesi
robots.txtdoğru ana makine ve protokol için kontrol edildi.- Yalnızca HTML değil, yanıt başlıkları da kontrol edildi.
Disallowvenoindexfarklı yönergeler olarak ele alındı.- Özel içerik yalnızca
robots.txtile değil, kimlik doğrulamayla korunuyor. - Sonuçlar ilgili her arama tarayıcısı için ayrı kaydedildi.
Sık yapılan hata
Disallow ekleyip sayfanın indeksten kaldırıldığını varsaymak. Herkese açık bir sayfanın indekslenmesini istemiyorsanız uygun bir indeksleme yönergesi kullanın ve tarayıcının bunu okumasını engellemeyin; gizli veriler için erişim kontrolü gerekir.