Yararlı sayfaları engellemeden erişimi kontrol edin
Her host ve protokol için robots.txt dosyasını alın. User-agent gruplarını, allow/disallow kurallarını, sitemap bildirimlerini ve değişiklik geçmişini kaydedin.
Önemli canonical URL’leri listeleyin ve taramaya izin verilip verilmediğini test edin. Sayfayı indeksten çıkarmak için robots.txt kullanılmadığını kontrol edin.
Oturum açma, staging, arama ve filtre URL’lerini ayrı inceleyin. Robots.txt’yi yalnızca doğrulanmış yinelenen veya düşük değerli URL alanlarının taranmasını yönetmek için kullanın; özel sayfaları kimlik doğrulamayla koruyun.
Küçük bir değişiklik yayınlayın, robots.txt dosyasını yeniden alın, temsili URL’leri Search Console’da test edin ve geri alma kopyasını saklayın.