Das Crawling-Kontingent, das eine Suchmaschine einer Website im Zeitverlauf zuweist. Priorisiere nützliche, erreichbare URLs; das Crawl-Budget ist kein Rankingfaktor und meist kein Problem kleiner Websites.
Beispiel und Anwendung
Beispiel: Filter erzeugen Tausende crawlbare URLs. Prüfe ihren Nutzen für Besucher, bevor du Crawling-Regeln änderst.