WordPressのrobots.txtファイルについて知りたいですか?
Robots.txtファイルは、検索ボットがあなたのサイトとどのようにやりとりするかをコントロールするのに役立ちます。このため、使い方を知っている人にとっては非常に便利なSEOツールです。
この記事では、WordPressのrobots.txtファイルについて知っておくべきことをすべて紹介します。
この記事で
WordPressのRobots.txtファイルとは?
WordPressのrobots.txtファイルは、ウェブサイトの所有者が検索エンジンのボットにサイトとのやり取りを指示するために作成するプレーンテキストファイルです。このファイルは、ウェブサイトのルートディレクトリ(メインフォルダとも呼ばれる)に保存されます。
要するに、WordPressのrobots.txtファイルは、あなたのサイトのゲートキーパーの役割を果たします。
こんな感じだ:

robots.txtファイルには、https://yoursite.com/robots.txt。
これは、ウェブページの先頭に埋め込まれるHTMLタグであるrobots metaタグと混同してはならない。このタグは、そのタグがあるページにのみ適用されます。
WordPressのRobots.txtファイルが必要な6つの理由
WordPressのrobots.txtファイルがどのようなものかわかったところで、なぜrobots.txtファイルが必要なのかを簡単に説明しよう。
1.検索エンジンのクロールを制御する
WordPressのrobots.txtファイルの主な目的は、検索エンジン(およびその他のボット)がクロールできる部分とできない部分を制御することです。これは、検索エンジンが検索エンジン結果ページ(SERPs)に表示させたいコンテンツの発見に集中する一方で、機密性の高いページや無関係なページを避けるために非常に重要です。
2.インデックスの改善
robots.txtファイルを最適化すべきもう一つの理由は、サイトのインデックス改善に役立つからです。robots.txtファイルを設定することで、重要なページのクロールとインデックスを優先させることができます。その結果、あなたのビジネスにとって最も重要なページが上位に表示される可能性が高まります。
AIOSEOを使えば、投稿やページのインデックス状況を簡単にチェックすることができます。

これにより、ページのインデックス状況を簡単に把握することができます。
3.重複コンテンツを避ける
重複コンテンツとは、全く同じ、または類似した内容のページや投稿を指します。正しく対処しないと、SEOに悪影響を及ぼす可能性があります。
robots.txtファイルは、検索エンジンが同じコンテンツの複数のバージョンをインデックスするのを防ぐために使用することができます。そうすることで、上位表示させたいページが検索エンジンに確実にクロールされ、インデックスされるようになります。
4.帯域幅の節約
検索エンジンのクローラーは、サイトをクロールする際にサーバーリソースと帯域幅を消費します。どのページやディレクトリをクロールするかを指定することで、サーバーリソースを節約し、サイトのパフォーマンスを向上させることができます。
また、クロールするページや投稿に優先順位をつけることができるため、クロール予算の最適化にも利用できる。
5.プライバシー保護
ウェブサイトに機密情報や機密データを含む部分がある場合、検索エンジンによるクロールやインデックスを防ぐことができます。robots.txtでその部分へのアクセスをブロックするだけで、プライバシーとセキュリティの保護に役立ちます。
6.ユーザー・エクスペリエンスの向上
どのページが検索エンジンにクロールされ、インデックスされるかをコントロールすることで、ユーザーに最も関連性の高い最新のコンテンツを確実に提供することができます。これにより、ユーザーの全体的な体験を向上させることができます。
このように、WordPressのrobots.txtファイルはウェブサイト管理の基本です。適切に設定することで、サイトのパフォーマンスや検索エンジンの検索結果における可視性に大きな影響を与えることができます。
WordPressのRobots.txtファイルを作成する方法
WordPressのrobots.txtファイルを作成するのはとても簡単です。コードは必要ありません。
ステップ1: AIOSEOのインストール
カスタムrobots.txtファイルを生成する最初のステップは、All In One SEO(AIOSEO)をインストールして有効化することです。

AIOSEOはパワフルで使いやすいSEOプラグインです。何百万人もの賢いブロガーがAIOSEOを使用して、検索エンジンのランキングを上げ、ブログへの適切なトラフィックを誘導しています。このプラグインには、SEO設定を適切に行うための強力な機能とモジュールが多数用意されているからです。例えば、以下のようなものがあります:
- 検索統計:この強力なGoogle Search Consoleとの統合により、キーワードのランキングを追跡し、重要なSEO指標を1クリックで確認することができます。
- 次世代スキーマ・ジェネレーター:このコード不要のスキーマ・ジェネレーターは、ユーザーがサイト上のあらゆるスキーマ・マークアップを生成し、出力することを可能にします。
- リダイレクトマネージャー:リダイレクトを管理し、404エラーをなくすことで、検索エンジンのクロールとインデックスを容易にします。
- Link Assistant:サイト内のページ間のリンク構築を自動化する強力な内部リンクツール。アウトバウンドリンクの監査も可能。
- SEOプレビュー:検索スニペット、ソーシャルスニペット、一般的なSEOの概要を表示し、最適化を改善することができます。
- IndexNow: IndexNowプロトコルをサポートする検索エンジン(BingやYandexなど)への高速インデックス。
- サイトマップジェネレーター:サイトの更新をすべての検索エンジンに通知するために、さまざまなタイプのサイトマップを自動的に生成します。
- そしてもっと。
AIOSEOのインストール方法については、インストールガイドをご覧ください。
最も愛されている機能の一つは、高度なrobots.txtエディタです。この強力なツールを使えば、WordPressのrobots.txtファイルを簡単に設定・カスタマイズすることができます。
注:WordPressはすべてのサイトにrobots.txtファイルを自動生成します。しかし、このファイルはカスタマイズできません。そのためにはプラグインが必要だ。AIOSEOのようなツールの出番だ。
ステップ2:WordPressのRobots.txtファイルエディターを開く
AIOSEOを有効化したら、次はWordPressのrobots.txtファイルをエディターモードで開きます。これを行うには、AIOSEOメニューに移動し、ツール"Robots.txtエディタをクリックします。

次に、「Enable Custom Robots.txt」トグルをクリックして、robots.txtファイルの編集を有効にします。

より多くのオプションについては、最高のrobots.txtジェネレータのリストをチェックしてください。
ステップ3: Robots.txtディレクティブの設定
robots.txtファイルの編集を有効にしたら、次はrobots.txtファイルにカスタムディレクティブを設定します。また、どのユーザーエージェント(ボット)がこのディレクティブに従うかを設定することもできます。
ディレクティブは、検索ボットに従わせたい指示です。AIOSEOのrobots.txtエディタにあるディレクティブの例には、Allow、Disallow、Clean-param、Crawl delayなどがあります。

各指令の意味は以下の通り:
- 許可する:ユーザーエージェント(ボット)によるURLのクロールを許可する。
- 許可しない:ユーザーエージェント(ボット)によるURLのクロールを許可しない。
- Clean-param:検索ボットに、規定のURLパラメータを持つすべてのURLを無視するよう指示する。
- クロール遅延:検索ボットがURLをクロールする間隔を設定します。
手動でディレクティブを追加する以外に、インポート機能を使って他のサイトから設定済みの robots.txt ファイルをインポートすることもできます。

インポートボタンをクリックすると、選択したrobots.txtファイルをインポートするための2つのオプションがあるウィンドウが開きます:URLからインポート 」と「 robots.txtテキストを貼り付ける」です。

この方法は、robots.txtファイルをインポートするサイトに、あなたのサイトに実装したいディレクティブがある場合に最適です。
4.不要なボットをブロックする
AIOSEOのRobots.txtエディターのもう一つのクールな機能は、AIクローラーをブロックするセクションです。これは、あなたのサイトをクロールする不正なボットをブロックすることができます。これらは、パフォーマンス、セキュリティ、SEOの問題につながる可能性があります。

詳しくは、サイト上の不要なボットトラフィックをブロックするチュートリアルをご覧ください。
5. サイト内検索URLのクロールを防止する
ウェブサイトは、訪問者がコンテンツや製品を探す際に、内部検索から過剰なURLを生成することがよくあります。このような検索で生成されたURLには、検索エンジンがユニークだと認識するパラメータが含まれているため、検索エンジンは不要なページをクロールしてしまいます。これはクロールの予算を浪費し、最も重要なページがインデックスされるのを妨げます。
AIOSEOのRobots.txtエディターで簡単にこれを防ぐことができます。

AIOSEOは、robots.txtファイルに "disallow "ルールを追加します。
詳しくは、robots.txtファイルの編集に関するチュートリアルをご覧ください。
WordPressのRobots.txtファイルを最適化するためのヒント
サイトマップのURLを含める
サイトマップへのリンクを含めることは、検索ボットが重要なページをクロールしてインデックスするために不可欠です。robots.txtファイルからそれを省略してもSEOに害はないかもしれませんが、間違いなく良い影響を与えます。幸いなことに、AIOSEOはrobots.txtファイルを生成する際にサイトマップのURLを自動的に追加するので、追加のカスタマイズは必要ありません。
ワイルドカードを理解し、賢く使う
ワイルドカードは、1つ以上の文字を表すことができる文字です。最も一般的なワイルドカードはアスタリスク(*)です。
ブロックしたいページがたくさんある場合、それぞれにルールを追加するのは手間がかかります。幸いなことに、ワイルドカードを使えば指示を簡単にすることができる。
ワイルドカードは、WordPressのrobots.txtファイルにパターンベースのルールを作成するための特殊文字です。各 URL を個別に指定するのではなく、共通のパターンを持つ URL のグループにディレクティブを適用する方法を提供します。robots.txtで使用されるワイルドカードには、主に2つの種類があります:
- アスタリスク(*)ワイルドカード:これは、任意の文字のシーケンスを表し、指定されたパターンに一致するURLを一致させるために使用されます。例えば、User-agent:* は、すべてのユーザーエージェントが指定されたディレクティブに従わなければならないことを意味します。
- ドル記号($)ワイルドカード:これはURLの最後にマッチさせるために使われます。例えば、".pdf "で終わるすべてのURLへのアクセスをブロックしたい場合、ドル記号を次のようなディレクティブで使うことができます -Disallow:/*.pdf$.
しかし、ワイルドカードの使い方を誤ると、意図せずに複数のページやディレクトリへのアクセスをブロックしたり許可したりする可能性があるため、使用には注意が必要である。
コメントを明確にする
robots.txtファイルにコメントを追加して、ディレクティブを説明してください。これは、あなたや他の人がそれぞれのルールの目的を理解するのに役立ちます。コメントを追加するには、コメントの先頭にハッシュタグ(#)を付けます。検索ボットは#以降のすべてを無視します。
WordPressのRobots.txtファイルをテストする方法
WordPressのrobots.txtファイルの生成と設定が完了したら、エラーがないかテストしてみましょう。Google Search Consoleのrobots.txtテストツールのようなツールを使用することができます。
しかし、AIOSEOのrobots.txtエディターを使えば、ルールの検証やエラー処理が組み込まれているので、これらは必要ありません。

WordPressのRobots.txtファイル:よくある質問にお答えします
WordPressのrobots.txtファイルとは?
robots.txtファイルは、WordPressウェブサイトのルート・ディレクトリに置かれるプレーン・テキスト・ファイルである。このファイルは、検索エンジンのクローラーに対して、サイトのどの部分をクロールしてインデックスさせ、どの部分を除外するかを指示します。
WordPressでrobots.txtを生成するには?
All In One SEO(AIOSEO)のようなプラグインを使えば、WordPressでrobots.txtファイルを簡単に生成することができる。コーディングや技術的な知識は必要ありません。
robots.txtを使ってSEOを改善できますか?
はい、robots.txtファイルを最適化することは、SEOの向上に貢献します。重複コンテンツや無関係なコンテンツを排除しながら、最も価値のあるコンテンツをクロールしてインデックスするように検索エンジンのボットを誘導することで、検索結果におけるウェブサイトの可視性とランキングを向上させることができます。
WordPressのRobots.txtファイルを賢く使いこなそう
WordPressのrobots.txtファイルは、クローラビリティ、インデックス、SERPでのランキングを向上させる強力なツールです。
この記事で、WordPressのrobots.txtファイルに関する総合的な知識と、なぜ自分のファイルを最適化することが重要なのかについてご理解いただけたと思います。また、当ブログの他の記事、例えば、スキャン可能なコンテンツの作成に関するガイドや、ランキングとCTRを高めるためのSEOタイトルジェネレータの使用に関するチュートリアルもご覧ください。
この記事が役に立ったなら、YouTubeチャンネルに登録してください。他にも役立つチュートリアルがたくさんあります。また、X(Twitter)、LinkedIn、またはFacebookで私たちをフォローし、常に最新情報を得ることができます。
情報開示私たちのコンテンツは読者支援型です。つまり、あなたが私たちのリンクをクリックした場合、私たちはコミッションを得る可能性があります。私たちは、読者に付加価値をもたらすと信じる製品のみを推薦します。