Wyjaśnienie
robots.txt steruje dostępem robotów do adresów URL, ale nie jest niezawodnym sposobem usuwania adresu z wyników: jego adres może być znany z innego źródła. Dyrektywa noindex wskazuje, że dostępnej strony nie należy umieszczać w wynikach wyszukiwania. Robot zwykle musi pobrać stronę, aby odczytać noindex. Sprawdzaj rzeczywiste odpowiedzi serwera i mechanizmy kontroli dostępu, a nie tylko treść pliku.
Fikcyjny przykład
Testowa konfiguracja szkoleniowej strony /robots zawiera jednocześnie Disallow i noindex. Robot, któremu zabroniono skanowania, może nie pobrać kodu HTML, a więc nie odczytać metatagu. Najpierw zespół zapisuje zamierzony stan strony i sprawdza działanie każdej dyrektywy; następnie zmienia i ponownie testuje wyłącznie konfigurację testową. Produkcja pozostaje bez zmian. Ochrona sekcji prywatnych i testowych wymaga osobnej decyzji właściciela.
Ćwiczenie
We własnym środowisku testowym lub lokalnej makiecie sprawdź dla /robots: robots.txt; metatag robots w HTML; nagłówek odpowiedzi X-Robots-Tag; status i przekierowania; ograniczenia WAF/CDN oraz wymagania logowania. Porównaj każdą dyrektywę z zamierzonym stanem. Zmiany reguł pozostaw w środowisku testowym; produkcja wymaga zgody właściciela, przeglądu i planu wycofania.
Lista kontrolna
- Sprawdzono
robots.txtdla właściwego hosta i protokołu. - Sprawdzono nagłówki odpowiedzi, nie tylko kod HTML.
Disallowinoindexsą traktowane jako różne dyrektywy.- Treści prywatne chroni uwierzytelnianie, a nie samo
robots.txt. - Wyniki zapisano osobno dla każdego istotnego robota wyszukiwarki.
Częsty błąd
Dodanie Disallow i założenie, że strona została usunięta z indeksu. Jeśli publiczna strona nie powinna być indeksowana, użyj odpowiedniej dyrektywy indeksowania i nie blokuj robotowi możliwości jej odczytania; dane poufne wymagają kontroli dostępu.