よくある質問の1つに、NOINDEX robots meta タグと robots.txt の違い、そしてそれぞれをいつ使うべきかというものがあります。この記事では、この質問にお答えします。
NOINDEX robots meta タグ
NOINDEX タグは、コンテンツが検索結果に表示されないようにするために使用されます。NOINDEX meta タグは、コンテンツのソースコード内に表示され、検索エンジンにそのコンテンツを検索結果に含めないように指示します。
NOINDEX robots meta タグは、ページのソースコードでは次のようになります。
<meta name="robots" content="noindex" />
robots.txt ファイル
robots.txt ファイルは、ウェブサイトのどこをクロールできるか、できないかを検索エンジンに伝えます。検索エンジンがクロールすべきディレクトリやファイル、すべきでないディレクトリやファイルを指示する「Allow」および「Disallow」ディレクティブが含まれています。
しかし、コンテンツが検索結果にリストされるのを止めるわけではありません。また、ブロックされたディレクトリやファイルが、ウェブサイト上の他のページや他のウェブサイトからリンクされている場合、検索エンジンはそれらをクロールできます。
robots.txt ファイルの使用例としては、サーバーに存在する可能性のある「/cgi-bin/」ディレクトリを検索エンジンにクロールしないように指示することが挙げられます。なぜなら、そのディレクトリには検索エンジンにとって有用なものは何も含まれていないからです。
WordPress のデフォルトの robots.txt は次のようになります。
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
NOINDEX と robots.txt の違い
両者の違いは次のとおりです。
- robots.txt ファイルは、検索エンジンがどのディレクトリやファイルをクロールすべきかを指示するために使用されます。コンテンツがインデックスに登録されたり、検索結果に表示されたりするのを止めるわけではありません。
- NOINDEX robots meta タグは、検索エンジンにコンテンツを検索結果に含めないように指示し、もしコンテンツが既にインデックスに登録されている場合は、完全に削除するように指示します。検索エンジンがコンテンツをクロールするのを止めるわけではありません。
理解すべき最も大きな違いは、コンテンツを検索結果に含めたくない場合は、NOINDEX タグを使用しなければならず、検索エンジンがコンテンツをクロールできるようにしなければなりません。検索エンジンがコンテンツをクロールできない場合、NOINDEX meta タグを確認できないため、コンテンツを検索結果から除外できません。
したがって、コンテンツを検索結果に含めたくない場合は、NOINDEX を使用してください。サーバー上のディレクトリに検索エンジンが必要とするものが含まれていないため、そのディレクトリのクロールを停止したい場合は、robots.txt ファイルで「Disallow」ディレクティブを使用してください。
All in One SEO で NOINDEX 機能を使用する方法については、検索結果でのコンテンツの表示または非表示はこちらの記事でドキュメントを見つけることができます。
All in One SEO で Robots.txt 機能を使用する方法については、All in One SEO で Robots.txt ツールを使用するはこちらの記事でドキュメントを見つけることができます。