Paaiškinimas
robots.txt valdo robotų prieigą prie URL, tačiau tai nėra patikimas būdas pašalinti URL iš rezultatų: adresas gali būti žinomas iš kitur. noindex direktyva nurodo, kad pasiekiamo puslapio nereikėtų įtraukti į paiešką. Kad robotas perskaitytų noindex, paprastai jis turi galėti gauti puslapį. Tikrinkite tikrus serverio atsakymus ir prieigos valdiklius, ne vien tekstinį failą.
Išgalvotas pavyzdys
Mokomojo puslapio /robots bandomosios aplinkos konfigūracijoje kartu nurodyti Disallow ir noindex. Robotui, kuriam nuskaitymas uždraustas, gali nepavykti gauti HTML, todėl jis gali neperskaityti meta žymos. Pirmiausia komanda užrašo pageidaujamą puslapio būseną ir išsiaiškina abiejų direktyvų poveikį; tada keičia ir iš naujo tikrina tik bandomosios aplinkos konfigūraciją. Gamybinė aplinka nekeičiama. Dėl privačių ir bandomųjų skilčių atskirai sprendžia savininkas.
Praktika
Savo bandomojoje aplinkoje arba vietiniame makete patikrinkite /robots: robots.txt; HTML meta robots žymą; HTTP atsakymo antraštę X-Robots-Tag; būseną ir peradresavimus; WAF/CDN apribojimus arba prisijungimo reikalavimus. Palyginkite kiekvieną direktyvą su numatyta būsena. Taisykles keiskite tik bandomojoje aplinkoje; gamybinei aplinkai reikia savininko, peržiūros ir grąžinimo plano.
Kontrolinis sąrašas
robots.txtpatikrintas tinkamam domenui ir protokolui.- Patikrintos atsakymo antraštės, ne vien HTML.
Disallowirnoindexlaikomi skirtingomis direktyvomis.- Privatų turinį saugo autentifikacija, ne vien
robots.txt. - Atskirai užrašyti kiekvieno svarbaus paieškos roboto rezultatai.
Dažna klaida
Pridėti Disallow ir manyti, kad puslapis pašalintas iš indekso. Jei viešo puslapio nereikėtų indeksuoti, naudokite tinkamą indeksavimo direktyvą ir neužblokuokite robotui galimybės ją perskaityti; konfidencialiems duomenims reikia prieigos kontrolės.