Vor einigen Jahren hatte ich schon einmal einen Artikel zum Thema „Optimierung des Crawl-Budgets veröffentlicht. Hier nun eine Aktualisierung mit den heutigen Anforderungen.
Was ist das Crawl-Budget?
Das Crawl-Budget beschreibt, wie viele Seiten Google auf einer Website in einem bestimmten Zeitraum besucht (crawlt). Es setzt sich daraus zusammen, wie oft Google vorbeischaut (Crawl Rate) und wie wichtig Google die Inhalte der Website einschätzt (Crawl Demand).
Was wirkt sich positiv auf das Crawl-Budget aus?
Diese Faktoren helfen Google, deine Website effizient zu crawlen:
Eine schnelle und stabile Website ist die wichtigste Grundvoraussetzung. Das bedeutet: Kurze Ladezeiten
Sorge für Inhalte mit Mehrwert für Deine Zielgruppe und sorge für Aktualität. Damit erreichst du, dass Google kommt häufiger vorbeischaut.
Desweiteren wünscht sich Google eine klare und leicht crawlbare Seitenstruktur. Damit einher gehen eine saubere Navigation und sinnvolle Verlinkungen auf interessante Unterseiten. Prüfe deinen Content auf Duplicate Content und/oder auf auf überflüssigen und redundanten Text. Damit wird dein Crawl-Budget auf relevante Inhalte konzentriert
Was wirkt sich negativ auf das Crawl-Budget aus?
Diese Probleme verschwenden Googles Zeit – und damit dein Crawl-Budget, denn Google bricht das Crawling schneller ab.
URL-Aufrufe mit Fehlermeldungen ( HTTP-Statuscode Serverfehler 5xx und 404 („Not Found“)
Lange Ladezeiten von URLs, möglicherweise verursacht durch große Bilder (über 100 kb), oder auch zu viele Plugins
Interner Duplicate Content, das heißt, gleiche Inhalte unter mehreren URLs. Nutze gerne hierfür das kostenlos Siteliner-Tool
Tag-Archive mit wenig Inhalt, Kalender, Filter (gegebenenfalls in einem Shop), Pagination ohne Nutzen für User
Was kannst du konkret tun, um das Crawl-Budget zu optimieren?
Obwohl ein zu geringes Crawl-Budget meistens Onlineshops oder umfangreiche Websites betrifft, gibt es auch eine praxisnahe To-do-Liste für Blog-Betreiber:
Unwichtige Seiten aufräumen: alte, sehr kurze oder irrelevante Artikel.
Du kannst die Seiten auf „noindex“ setzen, löschen oder so zusammenfassen, dass sie von Nutzen sind.
Interne Verlinkung verbessern, indem du Artikel mit weiterführenden Beiträgen sinnvoll verknüpfst. Google erkennt so am besten, welche Seiten wichtig sind.
Optimiere die Ladezeiten deines Blogs, indem zu Bilder komprimierst, CSS -und Javascript-Dateien reduzierst. Weiterführende Infos findest du auf den Google-Entwicklerseiten
Sinnvoll ist es auch, unwichtige Bereiche auszuschließen. Dazu zählen interne Suchergebnisse, Login-Bereiche und natürlich Test- oder Entwurfsseiten
Last but not least: Vergiss bitte nicht, für regelmäßige Überprüfungen die kostenlose Google Search Console zu bemühen. Das lohnt sich in jedem Fall.