Käytä ohjetta edustavaan otokseen, säilytä näyttö ja kirjaa seuraava toimi.
Tarkista pääsy estämättä hyödyllisiä sivuja
- Hae robots.txt jokaiselle isännälle ja protokollille. Kirjaa user-agent-ryhmät, allow/disallow-säännöt, sitemapit ja muutoshistoria.
- Listaa tärkeät canonical-URL:t ja tarkista indeksoijien pääsy. Älä käytä robots.txt:tä URL:n poistamiseen indeksistä.
- Tarkista kirjautuminen, staging, haku ja suodattimet erikseen. Käytä robots.txt:tä vain duplikaattien tai vähäarvoisten URL-tilojen crawlauksen hallintaan; suojaa yksityiset sivut kirjautumisella.
- Julkaise pieni muutos, hae robots.txt uudelleen, testaa URL:t Search Consolessa ja säilytä palautuskopio.