Kontrolli ligipääsu ja roomamise/indekseerimise direktiive

Selgitus

robots.txt juhib robotite ligipääsu URL-idele, kuid pole usaldusväärne viis URL-i otsingutulemustest eemaldada: aadress võib olla mujal teada. noindex-direktiiv väljendab soovi jätta kättesaadav leht otsingust välja. Robot peab üldjuhul lehe alla laadima, et noindex-i lugeda. Kontrolli tegelikke serverivastuseid ja ligipääsureegleid, mitte ainult tekstifaili.

Väljamõeldud näide

Õppestsenaariumi testkeskkonna /robots seadistus sisaldab korraga Disallow-i ja noindex-it. Robot, kelle roomamine on keelatud, ei pruugi HTML-i alla laadida ega meta-märgendit lugeda. Kõigepealt paneb meeskond kirja lehe soovitud oleku ja kontrollib, mida kumbki direktiiv teeb; seejärel muudab ja testib uuesti ainult testkeskkonna seadistust. Tootmiskeskkonnas ei muudeta midagi. Privaatsete ja testiosade puhul peab omanik tegema eraldi otsuse.

Harjutus

Kontrolli oma testkeskkonnas või kohalikus maketis lehte /robots: robots.txt; HTML-i robots-meta-märgendit; HTTP-vastuse X-Robots-Tag päist; olekut ja ümbersuunamisi; WAF-i/CDN-i piiranguid või sisselogimisnõudeid. Võrdle iga direktiivi kavandatud olekuga. Hoia reeglimuudatused testkeskkonnas; tootmiskeskkonna jaoks on vaja omaniku nõusolekut, ülevaatust ja tagasipööramisplaani.

Kontrollnimekiri

• robots.txt kontrolliti õige hosti ja protokolli jaoks.
• Kontrolliti vastuse päiseid, mitte ainult HTML-i.
• Disallow-i ja noindex-it käsitletakse eri direktiividena.
• Privaatset sisu kaitseb autentimine, mitte ainult robots.txt.
• Tulemused on eraldi kirjas iga asjakohase otsinguroboti kohta.

Levinud viga

Lisada Disallow ja arvata, et leht on indeksist eemaldatud. Kui avalikku lehte ei soovita indekseerida, kasuta sobivat indekseerimisdirektiivi ega takista robotil seda lugeda; konfidentsiaalsed andmed vajavad ligipääsukontrolli.

Esmased allikad

• Google’i robots.txt reeglid
• Robots-meta ja X-Robots-Tag reeglid
• Kontrolli, mida otsingus jagad