Selitys
robots.txt hallitsee robottien pääsyä URL-osoitteisiin, mutta se ei ole luotettava tapa poistaa URL tuloksista: osoite voidaan tuntea muualta. noindex kertoo, ettei saavutettavaa sivua pitäisi sisällyttää hakuun. Robotin on yleensä haettava sivu, jotta se voi lukea noindex-direktiivin. Tarkista todelliset palvelinvastaukset ja pääsynhallinta, älä vain tekstitiedostoa.
Kuvitteellinen esimerkki
Harjoituksen /robots-sivun testiympäristön asetuksissa on sekä Disallow että noindex. Robotti, jonka ryömintä on kielletty, ei ehkä hae HTML:ää eikä siksi lue metatunnistetta. Ensin tiimi kirjaa sivun tavoitetilan ja selvittää direktiivien erot; sen jälkeen se muuttaa ja testaa uudelleen vain testiympäristön asetusta. Tuotantoa ei muuteta. Yksityisistä ja testiosioista omistajan on tehtävä erillinen päätös.
Harjoitus
Tarkista /robots omassa testiympäristössäsi tai paikallisessa mallissa: robots.txt; HTML:n meta robots -tunniste; HTTP-vastauksen X-Robots-Tag-otsake; tila ja uudelleenohjaukset; WAF/CDN-rajoitukset tai kirjautumisvaatimukset. Vertaa jokaista direktiiviä tavoitetilaan. Tee sääntömuutokset vain testiympäristössä; tuotantoa varten tarvitaan omistaja, katselmointi ja palautussuunnitelma.
Tarkistuslista
robots.txttarkistettiin oikealle palvelimelle ja protokollalle.- Vastausotsakkeet tarkistettiin HTML:n lisäksi.
Disallowjanoindexkäsitellään eri direktiiveinä.- Yksityinen sisältö suojataan tunnistautumisella, ei vain
robots.txt:llä. - Tulokset kirjataan erikseen jokaiselle tärkeälle hakurobotille.
Yleinen virhe
Lisätään Disallow ja oletetaan, että sivu on poistettu indeksistä. Jos julkista sivua ei haluta indeksiin, käytä asianmukaista indeksointidirektiiviä äläkä estä robottia lukemasta sitä; luottamukselliset tiedot vaativat pääsynhallinnan.