SEO Glossary /

Crawl-Budget

Das Crawl-Budget bezieht sich auf die Anzahl der Seiten, die ein Suchmaschinen-Bot (wie Googlebot) innerhalb eines bestimmten Zeitraums auf einer Website crawlen kann und möchte. Es wird durch Faktoren wie die Größe, Struktur, Gesundheit der Website sowie die Crawling-Kapazität und das Interesse der Suchmaschine an der Website bestimmt.

Einige wichtige Punkte zum Crawl-Budget:

  • Es ist keine feste Zahl und kann je nach den Merkmalen der Website und den Algorithmen der Suchmaschine variieren.
  • Ein großes Crawl-Budget garantiert keine besseren Rankings; es stellt lediglich sicher, dass mehr Seiten von Suchmaschinen entdeckt und indexiert werden können.
  • Das Crawl-Budget wird oft fälschlicherweise als Rankingfaktor missverstanden, steht aber nicht in direktem Zusammenhang mit den Suchrankings.
  • Websites mit schlechter technischer Gesundheit, wie langsame Ladezeiten, Serverfehler oder übermäßige Weiterleitungen, können ihr Crawl-Budget von Suchmaschinen reduziert bekommen.
  • Inhalte von geringer Qualität oder doppelte Inhalte können das Crawl-Budget verschwenden, indem sie Suchmaschinen-Bots dazu veranlassen, Zeit auf weniger wichtigen Seiten zu verbringen.

Website-Betreiber können ihr Crawl-Budget optimieren, indem sie:

  • Eine gute Website-Gesundheit und Leistung sicherstellen, einschließlich schneller Ladezeiten und minimaler Serverfehler.
  • Eine klare und effiziente Seitenstruktur mit einer logischen Hierarchie und internen Verlinkung erstellen.
  • Robots.txt und XML-Sitemaps verwenden, um Suchmaschinen-Bots zu wichtigen Seiten zu leiten und das Crawlen unnötiger Seiten zu vermeiden.
  • Doppelte Inhalte, Seiten von geringer Qualität und defekte Links minimieren, die das Crawl-Budget verschwenden können.
  • Technische SEO-Probleme, die die Crawlbarkeit und Indexierung beeinträchtigen können, regelmäßig überwachen und beheben.

Durch die Optimierung des Crawl-Budgets können Website-Betreiber Suchmaschinen helfen, ihre wichtigsten Inhalte effizient zu entdecken und zu indexieren, was potenziell zu einer besseren Sichtbarkeit in den Suchergebnissen führt.

Wie wichtig ist das Crawl-Budget?

Das Crawl-Budget wird jedoch oft missverstanden. Wie wir in Sitemap Best Practices schrieben: „Das Crawl-Budget ist ein eher undurchsichtiges Thema, das Spekulationen hervorruft. Googles John Mueller sagte, dass selbst bei 100.000 URLs eine Website sich keine Sorgen um das Crawl-Budget machen müsste.“

Was ist also, wenn Sie weit über 100.000 URLs haben?

Verwandt: