Google Search Consoleでインデックス登録済みだがrobots.txtでブロックされている問題を解決する

ウェブサイトのSEOを管理していると、Google Search Consoleのインデックス作成レポートでrobots.txtによってブロックされているがインデックスされているという状況に遭遇することがあります。 

これは、ページがGoogleによってインデックスされているものの、robots.txtファイル内のルールによりクロールがブロックされていることを意味します。この状況は必ずしも問題ではありませんが、インデックスが不完全または不正確になる可能性があります。

この記事では、この状況の意味、原因、およびAll in One SEOを使用して解決する方法を説明します。

robots.txtによってブロックされているがインデックスされているステータスの理解

robots.txtによってブロックされているがインデックスされているステータスは、Googleがページを正常にインデックスしたが、robots.txtファイル内のルールによりコンテンツをクロールできない場合に発生します。クロールとインデックス作成は異なるプロセスです。

• クロールとは、検索エンジンがサイト上のコンテンツにアクセスして分析する方法です。
• インデックス作成とは、ページを検索エンジンのデータベースに追加して、検索結果に表示できるようにすることです。

ページがクロールからブロックされている場合、Googleはメタデータまたは外部リンクからの情報のみを使用してインデックスを作成する可能性があり、インデックスが不完全になります。

Google Search Consoleでrobots.txtによってブロックされているがインデックスされているステータスを特定する

Google Search Console（GSC）でrobots.txtによってブロックされているがインデックスされているステータスを持つページを特定するには、次の手順に従います。

1. Google Search Console にログインし、検索プロパティ ドロップダウンで適切なプロパティ（ウェブサイト）を選択します（複数のウェブサイトを管理している場合）。
   
2. 左側のサイドバーにある インデックス作成 の下にある ページ をクリックします。

3. ページインデックス作成レポートで、ページの表示を改善するセクションまでスクロールし、robots.txtによってブロックされているがインデックスされているを探します。これをクリックすると、この理由でフラグが付けられたすべてのページの詳細なリストが表示されます。

4. robots.txtによってブロックされているがインデックスされているをクリックした後、例セクションまでスクロールして、影響を受けるURLのリストを表示します。これにより、これが意図的であるか、またはリンク切れや不適切なリダイレクトタイプなどの問題があるかを理解するのに役立ちます。

All in One SEOの検索統計機能のインデックスステータスを使用して、robots.txtによってブロックされているがインデックスされているステータスを見つける方法

インデックスステータス機能を使用すると、WordPressダッシュボード内でGoogleサーチコンソールのエラーを直接確認できます。これを行うには、次の手順に従ってください。

1. All in One SEOメニューの「​検索統計」をクリックし、次に「SEO統計」タブをクリックします。

2. コンテンツパフォーマンスレポートには、「インデックス済み」というラベルの列があり、色分けされたアイコンを使用してページのインデックスステータスが表示されます。

3. これらのアイコンのいずれかがオレンジ色または赤色の場合、それをホバーすると詳細なポップアップが表示されます。問題がrobots.txtによってブロックされているがインデックスされているステータスの場合、ポップアップにはリダイレクトに関する詳細などの特定の情報が提供されます。

4. または、WordPressの「すべての投稿」または「すべてのページ」画面に移動します。このページのAIOSEO詳細列には、コンテンツパフォーマンスレポートと同じインデックスステータスアイコンが表示されます。ここにアイコンをカーソルで合わせると、エラーの詳細も表示されます。

All in One SEOのこれらの方法を使用することで、robots.txtによってブロックされているがインデックスされているステータスの影響を受けるURLを効果的に見つけて対処し、サイトのスムーズなユーザーエクスペリエンスと最適なインデックス作成を保証できます。こちらの記事でコンテンツのインデックスステータスを確認する方法について詳しく学ぶことができます。

AIOSEOでrobots.txtによってブロックされているがインデックスされているステータスを修正する方法

AIOSEOは、robots.txtの問題を診断および対処するための強力なツールを提供します。次の手順に従ってください。

• robots.txtルールの更新

インデックス登録とクロールを対象ページに行わせたい場合は、robots.txtファイルを更新する必要があります。WordPressダッシュボードのAll in One SEOメニューのツールセクションに移動することで、Robots.txtエディターにアクセスできます。ここで、robots.txtファイルを直接表示および編集できます。

Googlebotが対象ページにアクセスするのをブロックしている可能性のあるdisallowルールを探してください。例：Disallow: /example-page/

ページにアクセスできるようにするには、ルールを変更または削除します。変更を保存して更新を適用します。

• ルールビルダーを使用したルールの編集

追加したルールを編集するには、ルールビルダーの詳細を変更して、変更の保存ボタンをクリックするだけです。

• ルールビルダーでのルールの削除

追加したルールを削除するには、ルールの右側にあるゴミ箱アイコンをクリックします。

詳細については、All in One SEOのRobots.txtツールの使用方法の記事をお読みください。

• GSC URL検査ツールを使用してrobots.txtブロックをテストする

robots.txtファイルを更新したら、Google Search ConsoleのURL検査ツールを使用して、Googleが引き続きページをクロールできないようにブロックされているかどうかをテストできます。

1. Google Search Consoleにログインし、上部の検索バーを使用して対象のURLを検査します。
2. 最初の検査後、右上隅にあるライブURLをテストボタンをクリックします。これにより、Googlebotが現在ページをどのように見ているかがわかります。
3. ライブテストが完了するまで待ちます。
4. ライブテストの結果で、クロール許可？ステータスを確認します。

• はいと表示された場合、robots.txtの修正は成功しており、Googleは現在ページをクロールできます。
• それでもいいえと表示される場合は、クロールエラーセクションを展開し、Robots.txtブロックの詳細を確認します。AIOSEOのRobots.txtエディターを再確認して、さらに調整する必要がある場合があります。
  

• 不要なページのnoindexメタタグの適用

ページを検索結果から除外したい場合は、robots.txtルールに依存するのではなく、noindexロボットメタディレクティブを使用することが不可欠です。ここでの重要な違いは、robots.txtはクロールのみを管理し、インデックス登録は管理しないということです。クロールとインデックス登録は2つの別個のプロセスです。

たとえば、robots.txtでページをブロックすると、検索エンジンはそのページにアクセスできなくなりますが、バックリンクなどの他の手段を通じて既に検出されている場合、そのページがインデックス登録されるのを止めることはできません。

ページがインデックス登録されないようにするには、noindexロボットメタタグを追加する必要があります。これにより、検索エンジンにページを検索結果から除外するように指示します。ただし、同じページをrobots.txtでブロックした場合、Googleなどの検索エンジンは、noindexディレクティブを確認するためにそれをクロールできなくなります。その結果、検索エンジンはディレクティブを認識していないため、ページはインデックス登録されたままになる可能性があります。

たとえば、インデックス登録したくないページがあるとします。robots.txtでそれをブロックし、noindexタグを追加した場合、検索エンジンはnoindexディレクティブを認識するためにページをクロールしないため、その目的は無効になります。 

代わりに、検索エンジンがページをクロールできるようにして、インデックス登録しないロボットメタを検出し、インデックスから削除できるようにします。

例:

• 正しい方法: 検索エンジンがhttps://example.com/private-infoのようなURLをクロールできるようにし、ページのヘッダーにインデックス登録しないタグを追加します。
• 間違った方法: robots.txtでhttps://example.com/private-infoをブロックし、同時にインデックス登録しないタグを追加します。

最後に、robots.txtは、PDF、画像、フィードなどのファイルをブロックするのに最適です。これらのファイルには、インデックス登録しないディレクティブを追加することができません。たとえば、PDFはロボットメタタグをサポートしていないため、robots.txtでhttps://example.com/files/document.pdfをブロックすることがあります。

ページにインデックス登録しないタグを追加するには、WordPressでページを編集し、AIOSEO設定セクションまでスクロールします。詳細設定タブの下に、ロボット設定のオプションがあり、デフォルト設定を使用に設定されたトグルがあります。

トグルをオフに変更すると、ロボットメタの見出しの下にいくつかのチェックボックスが表示されます。

インデックス登録しないのチェックボックスをオンにし、投稿の更新ボタンをクリックします。この投稿は検索エンジンにインデックス登録されず、検索結果に表示されません。このプロセスにより、GoogleがURLのインデックスを削除するには時間がかかる場合があります。

• ブロックされたページへの外部リンクの処理

外部サイトがブロックされたページにリンクしている場合、Googleは限定的なデータを使用してそれをインデックスに登録する可能性があります。これを解決するには、外部サイトに連絡して、リンクをより関連性の高いURLに更新するように依頼してください。または、AIOSEOのリダイレクトマネージャーを使用して、ブロックされたページから適切なURLへの301リダイレクトを作成します。これにより、ユーザーと検索エンジンの両方が正しいコンテンツに誘導されます。

• Google に URL の再検証を依頼する

これらの修正を適用した後、Google Search Consoleにログインし、URL検査ツールを使用して、影響を受けるURLをテストします。

インデックス登録をリクエストをクリックして、Googleに変更を通知します。この手順により、Googleはページを再クロールし、それに応じてステータスを更新します。

エラーのすべてのインスタンスを解決した場合は、GoogleにURLを一括で再検証するように依頼できます。Google Search Consoleのページインデックス作成ページで、修正を検証ボタンをクリックします。これにより、問題が解決され、URLがインデックス作成の準備ができたことをGoogleに通知します。

Google が誤検知を報告する場合があります。このような場合は、再検証によってこれらの URL が再度レビューされるようになります。

同様の問題を将来回避する

このエラーが再発するのを防ぐには:

• robots.txtファイルを定期的にレビューし、インデックス登録の目標と一致していることを確認してください。
• 検索結果に表示したくないページは、robots.txtでブロックするのではなく、インデックス登録しないメタタグを使用してください。
• Google Search ConsoleとAIOSEOの組み込みツールを使用して、サイトのクロールとインデックス登録の問題を監視してください。

「robots.txtによってブロックされているがインデックス登録済み」エラーは、robots.txtファイルを更新したり、メタディレクティブを調整したり、外部リンクを管理したりすることで解決できます。AIOSEOの包括的なツールを活用することで、これらの問題に効果的に対処し、健全で最適化されたウェブサイトを維持できます。