あなたのサイトのrobots.txtをカスタマイズしたいですか？この記事がお役に立ちます。
All in One SEOのrobots.txtモジュールでは、WordPressが作成するrobots.txtを管理することができます。
これにより、あなたのサイトについてウェブクローラーに与える指示をより自由にコントロールできるようになります。
この記事で
チュートリアル・ビデオ
All in One SEOのRobots.txtツールの使い方のビデオです：
WordPressのRobots.txtについて
まず、WordPressがすべてのWordPressサイトにダイナミックなrobots.txtを生成することを理解することが重要です。
このデフォルトのrobots.txtには、WordPressで運営されているサイトの標準的なルールが含まれています。
第二に、WordPressは動的なrobots.txtを生成するため、サーバー上に静的なファイルはありません。robots.txtの内容はWordPressのデータベースに保存され、ウェブブラウザに表示されます。これは完全に正常であり、サーバー上の物理的なファイルを使用するよりもはるかに優れています。
最後に、All in One SEOはrobots.txtを生成するのではなく、WordPressが生成するデフォルトのrobots.txtにカスタムルールを追加する非常に簡単な方法を提供するだけである。
注：
WordPressが生成するrobots.txtは、サーバー上の静的なテキストファイルではなく、動的に生成されるページである一方、2つの理由から、大きなrobots.txtを作成する際には注意が必要です：
- robots.txtが大きいということは、ルールが複雑である可能性があり、メンテナンスが大変であることを示しています。
- グーグルは、長い接続時間によるサーバーへの負担を軽減するため、最大ファイルサイズを512KBにすることを提案している。
All in One SEOでRobots.txtエディタを使う
まずは、All in One SEOメニューの「ツール」をクリックします。
Robots.txtエディターが表示され、最初の設定がEnable Custom Robots.txtになっているはずです。トグルをクリックしてカスタムrobots.txtエディターを有効にします。
重要：
カスタムルールを追加する特別な理由がない限り、カスタムRobots.txtを有効にする必要はありません。
WordPressが生成するデフォルトのrobots.txtは、99％のサイトにとって完璧なものです。カスタムRobots.txt機能は、カスタムルールが必要なユーザーのためのものです。
画面の下にカスタムRobots.txtプレビューのセクションがあり、WordPressが追加したデフォルトのルールが表示されているはずです。
WordPressのデフォルトRobots.txtルール
Custom Robots.txt Previewセクションに表示されるデフォルトのルール（上のスクリーンショットに示されている）は、ロボットにWordPressのコアファイルをクロールしないよう求めるものです。これらのファイルには関連するサイトのコンテンツが含まれていないため、検索エンジンが直接アクセスする必要はありません。
何らかの理由でWordPressが追加したデフォルトのルールを削除したい場合は、WordPressのrobots_txtフィルターフックを使用する必要があります。
ルールビルダを使ったルールの追加
ルールビルダーは、サイト上の特定のパスに独自のカスタムルールを追加するために使用します。
例えば、一時ディレクトリからのすべてのロボットをブロックするルールを追加したい場合、ルール・ビルダーを使って追加することができる。
ルールを追加するには、[Add Rule]ボタンをクリックし、以下のフィールドに入力します。
ユーザーエージェント
まず、User Agentフィールドにユーザーエージェントを入力する。
例えば、グーグルのクローラーを指定したい場合は、ユーザーエージェントの欄に "Googlebot "と入力する。
すべてのユーザーエージェントに適用するルールが必要な場合は、[User Agent]フィールドに「*」を入力してください。
指令
次に、[Directive]ドロップダウンでルールタイプを選択する。選択できるルールタイプは4つある：
- Allowは、指定されたユーザーエージェントを持つクローラーに、Valueフィールドのディレクトリまたはファイルへのアクセスを許可します。
- Blockは、指定されたユーザーエージェントを持つクローラーがValueフィールドのディレクトリやファイルにアクセスするのをブロックします。
- Clean-paramを使うと、URLパラメータを持つページを除外することができます。現在、このディレクティブをサポートしている唯一の検索エンジンであるYandexは、ここに例を挙げて説明しています。
- クロール遅延は、クローラーがあなたのコンテンツをクロールする頻度を指定します。例えば、クロールディレイを10に設定すると、クローラーはあなたのコンテンツを10秒に1回以上クロールしないようになります。
現在、このディレクティブはBing、Yahoo、Yandexでのみサポートされています。Googleのクローラーのクロール率は、Google Search Consoleで変更できます。
価値
次に、Valueフィールドにディレクトリパスまたはファイル名を入力する。
wp-content/backups/のようなディレクトリパスや、/wp-content/backups/temp.pngのようなファイルパスを入力できます。
wp-content/backup-*のようにワイルドカードとして*を使うこともできます。
さらにルールを追加したい場合は、「Add Rule」ボタンをクリックし、上記の手順を繰り返します。
終了したら、「変更を保存」ボタンをクリックします。
あなたのルールはカスタムRobots.txtプレビューセクションと、Robots.txtを開くボタンをクリックして表示できるrobots.txtに表示されます。
ルールビルダを使ったルールの編集
追加したルールを編集するには、ルールビルダーで詳細を変更し、「変更を保存」ボタンをクリックするだけです。
ルールビルダでルールを削除する
追加したルールを削除するには、ルールの右にあるゴミ箱アイコンをクリックします。
ルール・ビルダーでルールの順序を変更する
カスタムルールをrobots.txtに表示する順番は、ルールビルダーでエントリーをドラッグ＆ドロップすることで簡単に変更できます。
ルールの右側にあるドラッグ＆ドロップアイコンをクリックしたまま、以下のように表示したい場所にルールを移動させる。
なぜルールを置く順番が重要なのかについては、グーグルが良い説明をしている。
独自のRobots.txtをAll in One SEOにインポートする
自分のrobots.txtや他のソースからのルールを非常に簡単にインポートすることができます。
まず、インポートボタンをクリックしてRobots.txtのインポートウィンドウを開きます。
ImportRobots.txtウィンドウでは、Import from URLフィールドにrobots.txtのURLを入力してURLからインポートするか、Paste Robots.txtテキストフィールドにrobots.txtの内容を貼り付けることができます。
これが完了したら、インポートボタンをクリックします。
ルールビルダで高度なルールを使用する
Robots.txtルールビルダーは、高度なルールの使用もサポートしています。これには正規表現パターンやURLパラメータが含まれます。
高度なルールの使い方の例を3つ紹介しよう：
上記の例では、これらの高度なルールが示されている：
- /search$ - 正規表現を使って、正確なパス"/search "へのアクセスを許可する。
- /search/ - "/search/"で始まるが完全一致しないパスへのアクセスをブロックする。
- /?display=wide - URLパラメータが一致するホームページへのアクセスを許可します。
このような高度なルールにより、サイトのrobots.txtファイルをきめ細かく制御できるため、ユーザーエージェントがウェブサイトにアクセスする方法を完全に制御できます。
不要なクローラーをブロックする
Block AI Crawlersを使用すると、AIクローラーやGoogle AdsBotなどの既知のクローラーをブロックするルールをrobots.txtに追加できます。
各クローラーを選択してブロックすることもできるし、「すべてのAIクローラー」を選択してリストにあるすべてのクローラーをブロックすることもできる。
サイト内検索URLのクロールをブロックする
robots.txtにルールを追加することで、サイト内検索URLのクロールをブロックすることができます。これにより、サイトの不要なクロールを減らすことができます。
WordPressマルチサイト用Robots.txtエディター
マルチサイトネットワーク用のRobots.txtエディタもあります。詳細はマルチサイトネットワーク用Robots.txtエディタのドキュメントをご覧ください。