SEO Glossary /

クロールバジェット

クロールバジェットとは、検索エンジンのボット（Googlebotなど）が、特定の期間内にウェブサイト上でクロールできるページ数、およびクロールしたいページ数です。これは、ウェブサイトのサイズ、構造、健全性、および検索エンジンのクロール能力とサイトへの関心といった要因によって決まります。

クロールバジェットに関する重要なポイント：

  • これは固定された数値ではなく、ウェブサイトの特性や検索エンジンのアルゴリズムによって変動する可能性があります。
  • クロールバジェットが大きいからといって、必ずしもランキングが向上するわけではありません。単に、より多くのページが検索エンジンによって発見され、インデックスされることを保証するだけです。
  • クロールバジェットは、ランキング要因と誤解されることがよくありますが、検索ランキングに直接関係するものではありません。
  • 読み込み速度が遅い、サーバーエラーがある、リダイレクトが過剰であるなど、技術的な健全性が低いウェブサイトでは、検索エンジンによってクロールバジェットが削減される可能性があります。
  • 低品質または重複したコンテンツは、検索エンジンのボットが無駄な時間を重要なページ以外のページに費やす原因となり、クロールバジェットを浪費する可能性があります。

サイト所有者は、ウェブサイトのクロールバジェットを最適化できます。その方法は以下の通りです：

  • 読み込み速度が速く、サーバーエラーが最小限であるなど、ウェブサイトの健全性とパフォーマンスを確保する。
  • 論理的な階層構造と内部リンクを備えた、明確で効率的なサイト構造を作成する。
  • robots.txtとXMLサイトマップを使用して、検索エンジンのボットを重要なページに誘導し、不要なページのクロールを回避する。
  • クロールバジェットを浪費する可能性のある重複コンテンツ、低品質ページ、リンク切れを最小限に抑える。
  • クロール可能性とインデックス作成に影響を与える可能性のある技術的なSEOの問題を定期的に監視し、対処する。

クロールバジェットを最適化することで、サイト所有者は検索エンジンが最も重要なコンテンツを効率的に発見し、インデックス作成できるように支援できます。これにより、検索結果での表示順位が向上する可能性があります。

クロールバジェットの重要性

しかし、クロールバジェットはしばしば誤解されています。サイトマップのベストプラクティスで述べたように、「クロールバジェットは憶測を生む、やや不透明なテーマです。GoogleのJohn Mueller氏は、10万件のURLがあってもサイトがクロールバジェットを気にする必要はないと述べています。」

では、10万件以上のURLがある場合はどうでしょうか？

関連記事：