surfup
Omów projekt

Bezpiecznie sprawdź robots.txt i dostęp robotów

Oddziel blokowanie crawlowania od zasad indeksowania i sprawdź konkretne URL-e.

Zastosuj procedurę do reprezentatywnej próby, zachowaj dowody i zapisz kolejny krok.

Sprawdź dostęp, nie blokując przydatnych stron

  • Pobierz robots.txt dla każdego hosta i protokołu. Zapisz grupy user-agent, reguły allow/disallow, mapy i historię zmian.
  • Wypisz ważne kanoniczne URL-e i sprawdź możliwość crawlowania. Nie używaj robots.txt do usuwania URL-a z indeksu.
  • Sprawdź osobno logowanie, staging, wyszukiwarkę i filtry. robots.txt służy tylko do kontroli crawlowania duplikatów lub mało wartościowych adresów; prywatne strony zabezpiecz logowaniem.
  • Wdróż małą zmianę, pobierz robots.txt ponownie, sprawdź przykładowe URL-e w Search Console i zachowaj kopię do wycofania.

Źródła pierwotne

zaktualizowano 13.10.2026

Najnowsze materiały

Wszystkie materiały

Praktyczne artykuły i poradniki SurfUp.

Poradnik · 10 min

Strony „co to jest…” i odpowiedzi AI: utracone kliknięcia czy popyt

Sekcja informacyjna banku straciła 24% wizyt, popyt spadł o 13%. Jak odróżnić kliknięcia utracone na rzecz bloku AI od spadku popytu i jak to zmierzyć.

Czytaj
Poradnik · 8 min

Ruch spadł po aktualizacji Google

Jak ustalić, czy spadek ruchu wynika z aktualizacji Google, sezonowości czy awarii witryny. Oś czasu aktualizacji z 2026 r., test z sześciu pytań i plan na pierwsze 14 dni.

Czytaj
Poradnik · 9 min

Spadł popyt czy serwis stracił: uzgadnianie ruchu z Wordstat

Popyt na lokaty spadł o 75%, ruch o 37%; w kartach popyt −35%, ruch −63%. Jak uzgodnić ruch z popytem i nie obwiniać serwisu za rynek.

Czytaj