WordPressでrobots.txtファイルを編集する方法を知りたいですか？
私は以前、WordPressでrobots.txtファイルを編集することに恐怖を感じていた。10以上のWordPressサイトを構築し管理してきた者として、私は画面を凝視し、1つの間違った動きが自分のサイトのSEOを台無しにしてしまうのではないかと心配したことを覚えている。
robots.txtファイルは恐ろしく見えるかもしれないが、実は検索エンジンにサイトのどの部分にアクセスできて、どの部分にアクセスできないかを伝えるシンプルなテキストファイルである。WordPressを何年も使っているうちに、このファイルの編集が複雑である必要はまったくないことが分かってきた。
このステップバイステップのガイドでは、WordPressでrobots.txtファイルを編集する最も簡単で安全な方法を紹介します。特定のページを検索エンジンからブロックしたいのか、SEOの問題を解決したいのか、何をすればいいのかがわかります。
ご心配なく。一つひとつのステップを説明しますので、壊したりすることはありません。
この記事で
Robots.txtファイルとは？
robots.txtファイルは、検索エンジンがあなたのサイトをクロールする方法、つまりクロールを許可する場所と許可しない場所を指示します。
Googleのような検索エンジンは、Webサイトをアーカイブし、分類するために、Webロボットと呼ばれることもあるこれらのWebクローラを使用しています。
ほとんどのボットは、あなたのサイトから他のファイルを読み取る前に、サーバー上のrobots.txtファイルを検索するように設定されています。これは、あなたのサイトをクロールし、インデックスする方法について特別な指示を追加したかどうかを確認するために行います。
robots.txtファイルは通常、ウェブサイトのメインフォルダとも呼ばれるルートディレクトリに保存されます。
URLは次のようになる：
http://www.example.com/robots.txt
あなたのウェブサイトのrobots.txtファイルを確認するには、http://www.example.com/をあなたのドメインに置き換え、最後にrobots.txt を追加するだけです。
では、robots.txtファイルの基本的なフォーマットがどのようなものか見てみよう：
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
User-agentは、あなたのサイトをクロールすることをブロックまたは許可したい検索エンジンのボットまたはロボット（例えば、Googlebotのクローラー）を指します。
robots.txtファイルを編集する際、特定のURLを許可または不許可にする複数の指示を含めることができ、さらに複数のサイトマップを追加することができます。また、Clean-paramディレクティブを使ってURLパラメータを除外したり、Crawl-delayディレクティブを使って検索ボットの訪問頻度（ ）を設定することもできます。
WordPressのデフォルトRobots.txtファイル
デフォルトでは、WordPressは自動的にあなたのサイトのrobots.txtファイルを作成します。そのため、何もしなくても、あなたのサイトにはWordPressのデフォルトのrobots.txtファイルがあるはずです。
しかし、後で独自のルールでカスタマイズすると、デフォルトのコンテンツが置き換えられてしまう。
WordPressのデフォルトのrobots.txtファイルはこんな感じです：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agentの 後のアスタリスク：* は 、robots.txtファイルがあなたのサイトを訪問するすべてのウェブロボットのためのものであることを意味します。前述したように、Disallow：/wp-admin/はロボットにwp-adminページを訪問しないように指示します。
robots.txtファイルをテストするには、ドメイン名の最後に/robots.txtを追加します。例えば、ウェブブラウザで "https://aioseo.com/robots.txt "と入力すると、AIOSEOのrobots.txtファイルが表示されます：
robots.txtファイルとは何か、どのように機能するのかがわかったところで、そもそもなぜrobots.txtファイルが重要なのかを見てみましょう。
なぜRobots.txtファイルが重要なのか？
robots.txtファイルは重要だ：
- サイトの読み込み速度の最適化- クロールやインデックスさせたくないページで時間を浪費しないようボットに指示することで、リソースを解放し、サイトの読み込み速度を向上させることができます。
- サーバー使用量の最適化- リソースを浪費するボットをブロックすることで、サーバーをクリーンアップし、404エラーを減らすことができます。
Robots.txtの代わりにMeta Noindexタグを使う場合
特定のページが検索エンジンの検索結果に表示されないようにすることが第一の目的であれば、noindexメタタグを使うのが適切な方法です。
これは、robots.txtが直接検索エンジンにコンテンツをインデックスしないように指示しているのではなく、クロールしないように指示しているだけだからだ。
言い換えれば、robots.txtを使用して、検索エンジンやその他のボットがあなたのサイトとどのようにやり取りするかについて特定のルールを追加することはできますが、コンテンツがインデックスされるかどうかを明確に制御することはできません。
それでは、AIOSEOを使ってWordPressのrobots.txtファイルを簡単に編集する方法を順を追って説明しよう。
AIOSEOを使ってWordPressのRobots.txtを編集する
robots.txtファイルを編集する最も簡単な方法は、最高のWordPress SEOプラグインであるAll in One SEO（AIOSEO）を使用することです。
AIOSEOは、300万人以上のユーザーを誇る、パワフルで使いやすいSEOプラグインです。つまり、何百万人もの賢いブロガーがAIOSEOを使って、検索エンジンのランキングを上げ、ブログへの良質なトラフィックを誘導しているのです。このプラグインには、SEOの設定を適切に行うために設計された多くの強力な機能とモジュールがあるからです。例えば、以下のようなものがあります：
- 検索統計：この強力なGoogle Search Consoleとの統合により、キーワードのランキングを追跡し、重要なSEO指標を1クリックで確認することができます。
- 次世代スキーマ・ジェネレーター：このコード不要のスキーマ・ジェネレーターは、ユーザーがサイト上のあらゆるスキーマ・マークアップを生成し、出力することを可能にします。
- リダイレクトマネージャー：リダイレクトを管理し、404エラーをなくすことで、検索エンジンのクロールとインデックスを容易にします。
- Link Assistant：サイト内のページ間のリンク構築を自動化する強力な内部リンクツール。アウトバウンドリンクの監査も可能。
- SEOプレビュー：検索スニペット、ソーシャルスニペット、一般的なSEOの概要を表示し、最適化を改善することができます。
- IndexNow： IndexNowプロトコルをサポートする検索エンジン（BingやYandexなど）への高速インデックス。
- サイトマップジェネレーター：サイトの更新をすべての検索エンジンに通知するために、さまざまなタイプのサイトマップを自動的に生成します。
- そしてもっと。
このプラグインがユーザーに愛されている理由のひとつは、検索エンジンがあなたのサイトをクロールする方法をよりコントロールできることです。これは、robots.txtファイルを簡単に設定できる高度なrobots.txtエディタのおかげで、デフォルトのWordPressファイルを上書きすることができます。
最高のrobots.txtジェネレーターのリストをチェックしてください。
最高のrobots.txtジェネレーターのリストをチェックしてください。
それでは早速、robots.txtファイルを編集してみよう。
Robots.txtファイルを編集するには、まずカスタムRobots.txtを有効にします。
robots.txtファイルを編集するには、All in One SEOメニューのツールをクリックし、Robots.txt Editorタブをクリックします。
そして、AIOSEOは動的なrobots.txtファイルを生成する。その内容はWordPressのデータベースに保存され、ウェブブラウザで見ることができます。
Robots.txtエディターに入ったら、カスタムRobots.txtを有効にする必要があります。
ボタンが青くなるようにクリックする。
画面の下にRobots.txtプレビューのセクションがあり、WordPressのデフォルトのルールが表示されます。デフォルトのルールは、ロボットがWordPressのコアファイル（管理ページ）をクロールしないようにするものです。
では、次に独自のルールを追加してみましょう。ルール・ビルダーを使うか、他のサイトからrobots.txtファイルをインポートするかの2つの方法がある。
方法1：ルール・ビルダーを使ってルールを追加する
ルール・ビルダーは、ロボットがどのページをクロールするかしないかについて、独自のカスタム・ルールを追加するために使用します。
たとえば、一時ディレクトリからのすべてのロボットをブロックするルールを追加したい場合は、ルールビルダーを使用することができます。
カスタムルールを追加するには、ユーザーエージェントフィールドにユーザーエージェント（例えば、Googlebotクローラー）を入力します。または、すべてのユーザーエージェント（ロボット）にルールを適用するには、*記号を使用します。
次に、あらかじめ設定されているrobots.txtディレクティブのいずれかを選択します：Allow、Disallow、Clean-param、Crawl-delayです。
Add Ruleボタンをクリックして、さらにディレクティブを追加することもできます。
適用するディレクティブが決まったら、Value フィールドにディレクトリパスかファイル名を入力します。
これが完了したら、ページの右下にある「変更を保存」ボタンをクリックします。
新しいルールを保存すると、Robots.txtのプレビューセクションに表示されます。
robots.txtファイルを表示するには、「Open Robots.txt」ボタンをクリックします。
これにより、robots.txtがホストされているURLに移動します。
方法2：他のサイトからルールをインポートする
robots.txtにディレクティブを追加するもう一つの簡単な方法は、他のサイトからディレクティブをインポートすることです。この機能は、複製したいrobots.txtファイルを持つサイトを作成したり、そのサイトを知っている場合に便利です。
他のサイトからrobots.txtファイルをインポートするには、AIOSEOメニューからツール " Robots.txt " カスタムrobots.txtを有効にします。
次に、インポートオプションをクリックします。
robots.txtファイルを取得したいサイトのURLを貼り付けるウィンドウが開きます。
インポートをクリックすると、サイトをリロードするよう促されます。再読み込みすると、プラグインがrobots.txtファイルを取り込み、あなたのサイトに実装します。
または、ターゲット・サイトからrobots.txtファイルをコピーして、指定されたスペースに貼り付けることもできます。再度、インポートをクリックすると、robots.txtファイルがサイトに追加されます。
これはおそらく、WordPressサイトにカスタムrobots.txtファイルを追加する最も簡単な方法です。
ルールビルダーを使ったRobots.txtルールの編集
robots.txtルールを編集するには、ルールビルダーで詳細を変更できます。
また、robots.txtファイルのルールを削除するには、ルールの右側にあるゴミ箱アイコンをクリックします。
それだけではありません！AIOSEOのrobots.txtエディターでは、ルールを上下に動かして優先順位をつけることができます。そのためには、ゴミ箱の横にある6つの点をクリックしたまま、ドラッグしてルールを再配置します。
robots.txtの編集が終わったら、「変更を保存」ボタンをクリックして新しいルールを保存します。
ボーナスRobots.txt編集機能
不要なボットやウェブクローラーをブロックする【簡単な方法
ウェブ・クローラー、別名ボットやスパイダーは諸刃の剣である。検索エンジンのように、多くはサイトの成功に必要なものです。しかし、サーバーのリソースを吸い上げたり、サイトの速度を落としたり、あるいはコンテンツを盗んだりするものもある。
普段はどう対処すればいいのだろう？
私は技術的なバックグラウンドを持っていないので、私はいつも簡単な方法を探しています😜。不要なボットがあなたのサイトをクロールするのを止める最も簡単な方法は、AIOSEOのクロールクリーンアップ機能を使用することです。これは、あなたのサイトのボットトラフィックを管理するのに役立つ設定が付属しています。
この機能により、あなたのサイトのクロールを阻止したいボットを選択することができる。ブロックしたいボットを選択するだけです。
不要なボットをブロックすると、AIOSEOはrobots.txtファイルをdisallowディレクティブで編集します。この機能はrobots.txtエディタにも組み込まれており、これを簡単に行うことができます。
サイト内検索のブロック
ウェブサイトは、しばしば内部検索から不要なURLを生成し、クロール予算の浪費や潜在的なスパムにつながる。 これもAIOSEOのクロールクリーンアップを使えば簡単に解決できる。トグルを使ってフィルターを設定するだけだ。
AIOSEOは、検索エンジンやその他のボットが、サイト内検索で作成されたURLをどのように扱うかをコントロールする力を提供します。以下のことが可能です：
- 検索クエリの最大文字数制限を設定し、検索URLが肥大化するのを防ぎます。
- 絵文字や特殊文字を自動的にフィルタリングして、ごちゃごちゃした検索語や無意味な検索語を避けることができます。
- 一般的なスパムパターンをブロックし、ジャンク検索がインデックス可能な不要なURLを作成しないようにする。
ここでも、AIOSEOはバックエンドでrobots.txtファイルを編集します。また、robots.txtエディターでこれらの設定を行うこともできます：
簡単なことだ！
robots.txtファイルを編集しました。
Robots.txtファイルの編集：よくある質問にお答えします
robots.txtファイルとは何ですか？
robots.txtファイルとは、ウェブサイトのオーナーがウェブクローラーやロボットと、検索エンジンにサイトのどの部分をクロールさせ、インデックスさせるかをやり取りするために使用するテキストファイルである。
robots.txtファイルはどこにありますか？
robots.txtファイルは通常、ウェブサイトのルート・ディレクトリにあります。そのURLは通常https://www.example.com/robots.txt。
robots.txtファイルを編集する最良の方法は？
robots.txtファイルを編集する最善の方法は、All In One SEO（AIOSEO）のようなプラグインを使用することです。これは最高のWordPress SEOプラグインであり、robots.txtファイルを超簡単に最適化する高度なrobots.txtエディタを備えています。
このチュートリアルで、WordPressのrobots.txtファイルを簡単に編集する方法をご紹介できたと思います。また、Googleにインデックスされるためのヒントや、ランキングを上げるための検索統計の使い方など、当ブログの他の記事もご覧ください。
この記事が役に立ったなら、YouTubeチャンネルに登録してください。他にも役立つチュートリアルがたくさんあります。また、X(Twitter)、LinkedIn、またはFacebookで私たちをフォローし、常に最新情報を得ることができます。
AIOSEOを無料で試したいですか？
AIOSEO LiteをインストールするWordPressサイトのURLを入力してください。
情報開示私たちのコンテンツは読者支援型です。つまり、あなたが私たちのリンクをクリックした場合、私たちはコミッションを得る可能性があります。私たちは、読者に付加価値をもたらすと信じる製品のみを推薦します。
記事をありがとう。
最近、コンテンツ崩壊についての記事を読みました。私たちの問題のひとつはページスピードで、ロード時間の短縮に取り組んできました。しかし、私はコーディングや技術的なことに関してはプロではありません。普段はマーケティングやデザインを担当しています。
画像をアップロードし、キャプションとaltタグを記述する際、画像検索で検索結果に表示されるようにしたいのですが、インデックスの肥大化は避けたいのです。
これを避けるために、何かお勧めの方法はありますか？画像サイトマップは必要なく、現在使用している画像をサイトから削除することもないと書いてあったので、（今日）すでに無効にしました。
また、2つ目の質問なのですが、画像サイトマップを無効にしたことが読み込み速度の改善に効果があったのかどうか、（htmlやjsなどの読み方を知らない者として）どうすればわかるのでしょうか？ありがとうございました！