ウェブサイトがGoogleに提供するステータスは、Googleがコンテンツをどのように発見しインデックスに登録するかを決定する上で非常に重要です。
サイトが正しいステータスで応答することを確認することが重要です。なぜなら、コンテンツがインデックス登録の対象となるかどうか、どのくらいの頻度でクロールされるか、検索結果にどのように表示されるかに影響するからです。これらのエラーは、Google Search Consoleの「インデックス作成」レポートに表示されます。
このため、Googleがコンテンツをクロールする際にサイトが表示する可能性のあるステータスコードの基本的な理解を持つことが重要です。
この記事では
ステータスコードがクロールとインデックス作成に与える影響
HTTPステータスコードの概要
ブラウザやクローラー（Googlebotなど）がページをリクエストすると、ウェブサーバーはステータスコードを返します。これらのコードはいくつかのカテゴリに分類されます。
- 2xx（成功）：リクエストは成功しました。これは、Googlebotがインデックス登録のためにページをクロールできることを意味します。
- 3xx（リダイレクト）：ページが移動またはリダイレクトされました。Googlebotは、インデックス登録の対象となる最終ページを決定する前に、最大10件のリダイレクトをたどります。
- 4xx（クライアントエラー）：ページが見つからないか、アクセスできません。これらのページは通常インデックスに登録されず、Googleは既にインデックスにあるページを最終的に削除します。
- 5xx（サーバーエラー）：サーバー側で問題が発生しました。これらのエラーが続く場合、Googlebotは訪問を遅くし、最終的にこれらのページをインデックスから削除する可能性があります。
ステータスコードの詳細な内訳
ウェブサーバーが返す可能性のある各HTTPステータスコードの詳細を以下に示します。
2xx（成功）
- 200（OK）：これは、Googlebotがページのコンテンツを正常にクロールできることを意味します。200ステータスは良い兆候ですが、ページがインデックスに登録されることを保証するものではありません。それでも、最良の出発点です。
- 201（作成）、202（承諾）：Googlebotはコンテンツを少し待ちます。コンテンツが表示されない場合、ページは空のページまたはエラーページとして扱われる可能性があり、これはインデックス登録にとってあまり良くありません。
- 204（コンテンツなし）：これは、Googlebotがインデックスに登録できるページ上のコンテンツがないことを意味します。これはしばしばGoogle Search Consoleで「ソフト404」と呼ばれるものにつながり、コンテンツが不足している可能性を示唆します。
3xx（リダイレクト）
- 301（恒久的に移動）：ページは別のURLに恒久的に移動されたため、Googleはリダイレクトをたどり、新しいURLをメインページとして扱います。
- 302（発見）＆その他の3xxコード：これらは一時的なリダイレクトまたは不確かなシグナルです。Googleはリダイレクトをたどりますが、新しいページをメインページとして扱わない可能性があります。また、Googlebotは、あきらめる前に最大10件のリダイレクトチェーンしかたどりません。
4xx（クライアントエラー）
- 404（Not Found）およびその他の4xxコード：ページが存在しないか、そのURLで利用できません。Googleはこれらのページをインデックスに登録せず、既にそのURLでインデックス登録されていたページは最終的に削除されます。
- 429（Too Many Requests）：サーバーが過負荷状態であることを意味します。これはサーバーエラーとして扱われるため、Googlebotのクロール頻度が低下し、新しいページや更新されたページが検索に表示されるまでの時間が長くなる可能性があります。ホスティングプロバイダーにサーバーエラーログを確認してもらい、エラーの原因を特定することをお勧めします。
5xx（サーバーエラー）
- 500（Internal Server Error）、503（Service Unavailable）およびその他の5xxコード：これらのコードは、サーバーが何らかの理由でページを提供できないことを示します。これらのエラーが解消されない場合、Googlebotのクロール頻度が低下し、ページがGoogleのインデックスから時間とともに削除される可能性があります。ホスティングプロバイダーにサーバーエラーログを確認してもらい、エラーの原因を特定することをお勧めします。
ステータスコードがGoogle検索でのサイトの表示に与える影響
- クロールの頻度と深さ：Googlebotが5xxエラーや多数の4xxページを繰り返し検出すると、サイトへの訪問頻度が低下します。これにより、新しいページや更新されたページが検索結果に表示されるまでに時間がかかる場合があります。
- コンテンツのインデックス登録：成功した2xxステータスを返すページ、または適切な3xxリダイレクトを使用しているページのみが、Googleのインデックスに表示されるか、またはインデックスに残りやすくなります。
- ユーザーエクスペリエンスシグナル：ステータスコードは主にGooglebot向けですが、実際の訪問者にとっても重要です。適切なコードを返すサイトは、よりユーザーフレンドリーであり、間接的にオーガニック検索パフォーマンスを向上させることができます。
HTTPステータスコードを理解し、適切に管理することは、Googleのウェブクローラーとの健全な関係を維持するために不可欠です。
サーバーが適切なコード（アクセス可能なコンテンツには2xx、3xxリダイレクトは慎重に使用、4xxまたは5xxエラーは最小限に）を返すようにすることで、Googlebotがページをより効率的にクロールおよびインデックス登録できる環境を作成できます。
Google Search Consoleの「インデックス登録」レポートを定期的に監視し、問題のあるステータスコードを検出した場合は迅速に対応することで、Googleの検索結果でのサイトの可視性を維持および向上させることができます。
要するに、HTTPステータスコードを正しく処理することは、堅実で長期的なSEO戦略の不可欠な部分です。