Verwendung von Crawl Cleanup zur Erhöhung des Suchmaschinen-Crawl-Kontingents

Wenn Google (und andere Suchmaschinen) beginnen, Ihre Website zu indexieren, ist es üblich, dass sie viele unerwünschte URLs aufnehmen, die von Ihren RSS-Feeds stammen.

Google betrachtet diese URLs als eindeutig und versucht, sie separat zu indexieren. Dies schadet zwar nicht Ihrem Ranking (Google ist schlau genug, um diese Dinge herauszufinden), aber es verbraucht die für Ihre Website zugewiesene Crawl-Quota und kann wiederum zu Verzögerungen bei der Indexierung führen.

Um dem entgegenzuwirken, haben wir eine neue Funktion Crawl Cleanup in unseren Einstellungen für Erweitertes Suchmaschinen-Ergebnis-Schema eingeführt, mit der unsere Benutzer feinabstimmen können, was Google aufnehmen kann.

Tutorial-Video zum Deaktivieren von RSS-Feeds

Sehen Sie sich unten unser Video an, wie Sie RSS-Feeds in WordPress deaktivieren:

Crawl Cleanup aktivieren

Um die Einstellungen für Crawl Cleanup zu aktivieren, klicken Sie im All in One SEO-Menü auf Suchmaschinen-Ergebnis-Schema und dann auf den Tab Erweitert.

Scrollen Sie zum Ende der Seite und aktivieren Sie den Schalter für Crawl Cleanup.

Abschnitt Crawl Cleanup auf der Registerkarte Erweiterte Sucheinstellungen

Nach der Aktivierung werden Ihnen im Tab RSS-Feeds Optionen zur Verwaltung Ihrer RSS-Feeds angezeigt.

Einstellungen für RSS-Feeds

WordPress enthält viele RSS-Feeds auf Ihrer Website, darunter auch Feeds, die überhaupt nicht notwendig sind. Wenn Sie Crawl Cleanup aktivieren, deaktivieren wir automatisch die meisten Feeds und behalten Ihren Haupt-Website-Feed und einige zusätzliche wichtige Feeds bei.

Globaler RSS-Feed

Der globale RSS-Feed ist die Methode, mit der Benutzer neue Inhalte abonnieren, die auf Ihrer Website erstellt wurden. Dies ist standardmäßig mit Crawl Cleanup aktiviert und wir empfehlen NICHT, ihn zu deaktivieren.

Globale RSS-Feed-Einstellung unter Crawl Cleanup

Globaler RSS-Feed für Kommentare

Der globale Kommentar-Feed ermöglicht es Benutzern, neue Kommentare zu abonnieren, die zu Ihrer Website hinzugefügt wurden. Dies ist standardmäßig mit Crawl Cleanup deaktiviert.

Globale Kommentar-RSS-Feed-Einstellung unter Crawl Cleanup

Feed für statische Beitragsseite

Wenn Sie eine statische Seite für Ihre Beiträge verwenden (z. B. https://ihre-seite.de/blog/), dann wird diese Option angezeigt. Dies ist standardmäßig mit Crawl Cleanup aktiviert und wir empfehlen NICHT, sie zu deaktivieren.

Feed-Einstellung für statische Beitragsseite unter Crawl Cleanup

Autoren-Feeds

Der Autoren-Feed ermöglicht es Ihren Benutzern, neue Inhalte von einem bestimmten Autor zu abonnieren. Dies ist standardmäßig mit Crawl Cleanup aktiviert.

Einstellung für Autoren-Feeds unter Crawl Cleanup

Feed für Beitrags-Kommentare

Der Feed für Beitrags-Kommentare ermöglicht es Ihren Benutzern, neue Kommentare zu einer bestimmten Seite oder einem bestimmten Beitrag zu abonnieren. Dies ist standardmäßig mit Crawl Cleanup deaktiviert.

Feed-Einstellung für Beitrags-Kommentare unter Crawl Cleanup

Such-Feed

Der Such-Feed ermöglicht es Besuchern, Ihre Inhalte basierend auf einem bestimmten Suchbegriff zu abonnieren. Dies ist standardmäßig mit Crawl Cleanup deaktiviert.

Feed-Einstellung für Suche unter Crawl Cleanup

Feed für Anhänge

Der Feed für Anhänge ermöglicht es Benutzern, Änderungen an Ihrer Website zu abonnieren, die an Medienkategorien vorgenommen wurden. Dies ist standardmäßig mit Crawl Cleanup deaktiviert.

Feed-Einstellung für Anhänge unter Crawl Cleanup

RSS-Feeds mit Paginierung

Die paginierten RSS-Feeds sind für Beiträge oder Seiten, die paginiert sind. Dies ist standardmäßig mit Crawl Cleanup deaktiviert.

Einstellung für paginierte RSS-Feeds unter Crawl Cleanup

Feeds für Beitragstyp-Archive

Dies steuert, welche Beitragsart-Archiv-Feeds aktiviert sind. Standardmäßig sind mit Crawl Cleanup keine Beitragsart-Archiv-Feeds aktiviert.

Post Type Archive Feeds-Einstellung unter Crawl Cleanup

Taxonomie-Feeds

Dies steuert, welche Taxonomie-Feeds aktiviert sind. Standardmäßig ist mit Crawl Cleanup nur der Kategorie-Feed aktiviert.

Taxonomie Feeds-Einstellung unter Crawl Cleanup

Atom-Feed

Dies ist ein globaler Feed Ihrer Website, der im Atom-Format ausgegeben wird. Dies ist standardmäßig mit Crawl Cleanup deaktiviert.

Atom Feed-Einstellung unter Crawl Cleanup

RDF/RSS 1.0 Feed

Dies ist ein globaler Feed Ihrer Website, der im RDF/RSS 1.0 Format ausgegeben wird. Dies ist standardmäßig mit Crawl Cleanup deaktiviert.

RDF/RSS 1.0 Feed-Einstellung unter Crawl Cleanup

Einstellungen für unerwünschte Bots

Auf der Registerkarte Unerwünschte Bots können Sie steuern, welche Bots am Crawlen Ihrer Website gehindert werden.

Unwanted Bots-Einstellungen in All in One SEO

Sie können jeden der Crawler auswählen, um sie zu blockieren, oder Sie können Alle KI-Crawler auswählen, um alle aufgeführten zu blockieren.

Einstellungen zur Bereinigung der internen Seitensuche

Auf der Registerkarte Bereinigung der internen Seitensuche können Sie die URLs steuern, die für die Suchseiten auf Ihrer Website verwendet werden. Dies kann helfen, das Crawling zu reduzieren und SEO-Spammer zu bekämpfen, die bekannte Spam-Angriffe verwenden.

Internal Site Search Cleanup-Einstellungen in All in One SEO

Einstellungen für Suchfilter

Die erste Einstellung ist Suche filtern, die, wenn aktiviert, die Einstellungen zum Filtern der Such-URLs anzeigt.

Filter Search-Einstellungen in All in One SEO

Die Einstellungen für Suche filtern sind:

  • Max. Anzahl Zeichen – Diese Einstellung begrenzt die Länge von internen Seitensuchanfragen, um die Auswirkungen von Spam-Angriffen und verwirrenden URLs zu reduzieren. Wir empfehlen die Eingabe einer Zahl zwischen 1 und 50 Zeichen. Der Standardwert ist auf 50 Zeichen eingestellt.
  • Emojis und andere Sonderzeichen – Diese Einstellung blockiert interne Seitensuchen, die komplexe und nicht-alphanumerische Zeichen wie Emojis enthalten.
  • Häufige Spam-Muster – Diese Einstellung blockiert interne Seitensuchen, die den Mustern bekannter Spam-Angriffe entsprechen.

Einstellung: Pretty-URLs in „RAW“-URLs umleiten

Die nächste Einstellung nach Suche filtern ist Pretty-URLs in „RAW“-URLs umleiten. Dies leitet Pretty-Such-URLs wie /search/ zur WordPress-Standardeinstellung /?s= um. Dies kann Such-URLs konsolidieren und das Crawling dieser URLs reduzieren.

Einstellung zum Blockieren des Crawlens von internen Website-Such-URLs

Die letzte Einstellung ist Crawling von internen Seitensuch-URLs blockieren. Dies fügt der von WordPress erstellten robots.txt eine Disallow-Regel hinzu, um das Crawling von URLs für Suchseiten zu verhindern. Dies reduziert unnötiges Crawling Ihrer Website.