Google（およびその他の検索エンジン）がサイトのインデックス作成を開始すると、RSSフィードから多くの不要なURLが取得されることがよくあります。
GoogleはこれらのURLをユニークなものとして認識し、個別にインデックスを作成しようとします。これはランキングに悪影響を与えるものではありません（Googleはこれらのことを理解するのに十分賢いです）が、サイトに割り当てられたクロールクォータを消費し、結果としてインデックス作成の遅延を引き起こす可能性があります。
注意：
クロールクォータは主に多数のURLを持つサイトに影響します。小規模サイトのユーザーはクロールクォータを持つべきではありません。
これを防ぐために、高度な検索外観設定に新しいクロールクリーアップ機能が導入され、Googleが取得できるものをユーザーが微調整できるようになりました。
重要：
これらの設定は、これらの変更がもたらす可能性のある影響を理解している上級ユーザー向けに設計されています。これらの設定について不明な点がある場合は、サポートチームにお問い合わせください。
この記事では
RSSフィードを無効にするチュートリアルビデオ
以下のWordPressでRSSフィードを無効にする方法に関するビデオをご覧ください：
クロールクリーアップを有効にする
クロールクリーアップ設定を有効にするには、All in One SEOメニューの検索外観をクリックし、次に高度な設定タブをクリックします。
ページの下部までスクロールし、クロールクリーアップのトグルを有効にします。
有効にすると、RSSフィードタブでRSSフィードを管理するオプションが表示されます。
RSSフィード設定
WordPressには、まったく必要のないフィードを含む多くのRSSフィードがサイトに含まれています。クロールクリーアップを有効にすると、ほとんどのフィードが自動的に無効になり、メインサイトフィードと重要な追加フィードが保持されます。
グローバルRSSフィード
グローバルRSSフィードは、ユーザーがサイトで作成された新しいコンテンツを購読する方法です。これはデフォルトでCrawl Cleanupで有効になっており、無効にすることは推奨しません。
重要：
グローバルRSSフィードを無効にすることは推奨しません。これにより、ユーザーはコンテンツを購読できなくなり、SEOランキングに悪影響を与える可能性があります。
グローバルコメントRSSフィード
グローバルコメントフィードにより、ユーザーはサイトに追加された新しいコメントを購読できます。これはデフォルトでCrawl Cleanupで無効になっています。
静的投稿ページフィード
投稿に静的ページを使用している場合（例：https://yoursite.com/blog/）、このオプションが表示されます。これはデフォルトでCrawl Cleanupで有効になっており、無効にすることは推奨しません。
重要：
静的投稿ページフィードを無効にすることは推奨しません。これにより、ユーザーはコンテンツを購読できなくなり、SEOランキングに悪影響を与える可能性があります。
著者フィード
著者フィードにより、ユーザーは特定の著者が作成した新しいコンテンツを購読できます。これはデフォルトでCrawl Cleanupで有効になっています。
投稿コメントフィード
投稿コメントフィードにより、ユーザーは特定のページまたは投稿への新しいコメントを購読できます。これはデフォルトでCrawl Cleanupで無効になっています。
検索フィード
検索フィードにより、訪問者は特定の検索語に基づいてコンテンツを購読できます。これはデフォルトでCrawl Cleanupで無効になっています。
添付ファイルフィード
添付ファイルフィードにより、ユーザーはメディアファイルカテゴリに対してサイトに行われた変更を購読できます。これはデフォルトでCrawl Cleanupで無効になっています。
ページネーションRSSフィード
ページネーションされたRSSフィードは、ページネーションされた投稿またはページ用です。これはデフォルトでCrawl Cleanupで無効になっています。
投稿タイプアーカイブフィード
これにより、どの投稿タイプアーカイブフィードが有効になるかを制御します。デフォルトでCrawl Cleanupで有効になっている投稿タイプアーカイブフィードはありません。
タクソノミーフィード
これにより、どのタクソノミフィードが有効になるかを制御します。デフォルトでCrawl Cleanupで有効になっているのはカテゴリフィードのみです。
Atomフィード
これは、Atom形式で出力されるサイトのグローバルフィードです。これはデフォルトでCrawl Cleanupで無効になっています。
RDF/RSS 1.0フィード
これは、RDF/RSS 1.0形式で出力されるサイトのグローバルフィードです。これはデフォルトでCrawl Cleanupで無効になっています。
注意：
上記のいずれかのフィードで無効を選択した場合、フィードは完全に無効になり、フィードのURLにアクセスした人はホームページまたは最も関連性の高いアーカイブ（著者フィードの場合は著者アーカイブ）にリダイレクトされます。
不要なボット設定
Unwanted Botsタブでは、サイトのクロールをブロックするボットを制御できます。
ブロックするクローラーをそれぞれ選択するか、All AI Crawlersを選択して、リストされているすべてのクローラーをブロックできます。
注意：
この機能は、WordPressが作成したrobots.txtを使用して、これらのクローラーをブロックします。AIクローラーをブロックの下にあるいずれかのボックスを選択すると、All in One SEOはWordPressが作成する動的なrobots.txtに自動的にルールを追加します。
静的なrobots.txtファイルがある場合、All in One SEOはそのファイルに書き込みません。静的なファイルを削除し、WordPressが提供する動的なrobots.txtを使用することをお勧めします。
サイト内検索クリーニング設定
サイト内検索クリーニングタブでは、サイトの検索ページに使用されるURLを制御できます。これにより、クロールを減らし、既知のスパム攻撃を使用するSEOスパマーに対抗するのに役立ちます。
検索設定のフィルタリング
最初の設定は検索のフィルタリングで、有効にすると検索URLをフィルタリングするための設定が表示されます。
検索のフィルタリング設定は次のとおりです。
- 最大文字数 – この設定は、スパム攻撃や紛らわしいURLの影響を減らすために、サイト内検索クエリの長さを制限します。1から50文字の間の数値を入力することをお勧めします。デフォルトは50文字に設定されています。
- 絵文字やその他の特殊文字 – この設定は、絵文字のような複雑で英数字以外の文字を含むサイト内検索をブロックします。
- 一般的なスパムパターン – この設定は、既知のスパム攻撃のパターンに一致するサイト内検索をブロックします。
「RAW」URLへの pretty URL のリダイレクト設定
検索のフィルタリングの次の設定は「RAW」URLへの pretty URL のリダイレクトです。これにより、/search/のような pretty 検索URLがWordPressのデフォルトである/?s=にリダイレクトされます。これにより、検索URLを統合し、これらのURLのクロールを減らすことができます。
サイト内検索URLのクロールをブロックする設定
最後の設定はサイト内検索URLのクロールブロックです。これにより、WordPressが作成したrobots.txtにDisallowルールが追加され、検索ページのURLのクロールが防止されます。これにより、サイトの不要なクロールが削減されます。
注意：
この設定は、WordPressが作成したrobots.txtを使用して、クローラーがこれらのURLをクロールしないようにブロックします。サイト内検索URLのクロールブロック設定を有効にすると、All in One SEOはWordPressが作成する動的なrobots.txtに自動的にルールを追加します。
静的なrobots.txtファイルがある場合、All in One SEOはそのファイルに書き込みません。静的なファイルを削除し、WordPressが提供する動的なrobots.txtを使用することをお勧めします。