Wenn du deine Website oder deinen Blog online gestellt hast, möchtest du sicherlich auch, dass deine Inhalte früher oder später im Index der Suchmaschinen gefunden werden. Damit dieser Prozess reibungslos abläuft, musst du den Google-Bot und andere Suchmaschinen-Spider auf den richtigen Weg bringen. Diesen Teil der technischen Suchmaschinenoptimierung nennt man„Crawl Budget Optimierung“.
Was ist ein Crawl-Budget?
Google legt für jede Website planmäßig fest , wie viele URLs (HTML-Seiten etc.) vom Bot wie häufig besucht und verarbeitet werden dürfen. Dieses sogenannte Crawling-Budget hat somit auch Einfluss auf dieAnzahl der Dateien, die in den Index aufgenommen werden können. Bei der Zuweisung bewertet Google Websites und deren URLs untereinander unterschiedlich. Statische Websites erhalten beispielsweise ein kleineres Budget als ein CMS oder Online-Shop. Die Hierarchie der Webseite spielt ebenfalls eine Rolle. Und last but least: Fehlerseiten und nicht aufrufbare URLs (404 Not Found) verbrennen unnötig dein Crawl Budget. Behalte Crawling-Fehler immer im Auge und bereinige sie! Sie werden Dir unter “Abdeckung” in der Search Console angezeigt.
Was kannst für dein Crawl-Budget tun?
Aus diesem Grund empfiehlt es sich, die eigene Website für die Indexierung so gut wie möglich zu planen und vorzubereiten. Hilfreich ist eine Website mit flacher Hierarchie, denn je tiefer der Bot in Verzeichnisebenen vordringen muss, je mehr Budget wird verbraucht. Ebenso ist es wichtig sicherzustellen, dass keine Fehlerseiten besucht werden und/oder durch verwaiste Links gefunden werden. Das sind ja auch Hürden für deine Besucher, die auf jeden Fall vermieden werden sollten.
Basic-to-dos sind…
- Flache Seitenarchitektur führt zu schnelleren Crawlergebnissen
- Saubere interne Verlinkung von wichtigen Seiten, achte auch auf identischen Linktext für identische Linkziele
- Sperren der Seiten für die Bots, die nicht gecrawlt werden sollen: z. B. Log-in Bereiche, interne Suchergebnisseiten in WordPress sollten mit <meta name=”robots” content=”noindex,follow“> ausgestattet sein. Das Plugin SEO Pack konfiguriert solche Problemstellen von Haus aus richtig.
- Stell in der Search Console eine XML-Sitemap bereit und achte darauf, dass diese zugängliche URLs (Status 200) und HTML-Seiten mit einem auf sich selbst referenzierem Canonical-Tag enthalten.