Verwenden des Robots.txt-Tools in All-in-One-SEO

Möchten Sie die robots.txt-Datei auf Ihrer Website anpassen? Dieser Artikel hilft Ihnen dabei.

Mit dem Modul robots.txt in All in One SEO können Sie die von WordPress erstellte robots.txt-Datei verwalten.

Dadurch haben Sie eine bessere Kontrolle über die Anweisungen, die Sie Webcrawlern zu Ihrer Site geben.

Anleitungsvideo

Hier ist ein Video zur Verwendung des Robots.txt-Tools in All in One SEO:

Über die Robots.txt in WordPress

Zunächst ist es wichtig zu verstehen, dass WordPress für jede WordPress-Site eine dynamische robots.txt-Datei generiert.

Diese standardmäßige robots.txt-Datei enthält die Standardregeln für alle Sites, die auf WordPress laufen.

Zweitens, da WordPress eine dynamische robots.txt generiert, ist auf Ihrem Server keine statische Datei zu finden. Der Inhalt der robots.txt wird in Ihrer WordPress-Datenbank gespeichert und in einem Webbrowser angezeigt. Das ist völlig normal und viel besser, als eine physische Datei auf Ihrem Server zu verwenden.

Und schließlich generiert All in One SEO keine robots.txt-Datei, sondern bietet Ihnen lediglich eine wirklich einfache Möglichkeit, der von WordPress generierten standardmäßigen robots.txt-Datei benutzerdefinierte Regeln hinzuzufügen.

Verwenden des Robots.txt-Editors in All in One SEO

Klicken Sie zunächst im Menü „All in One SEO“ auf „Tools“ .

Sie sollten den Robots.txt-Editor sehen und die erste Einstellung sollte „Benutzerdefinierte Robots.txt aktivieren“ sein. Klicken Sie auf den Schalter, um den benutzerdefinierten Robots.txt-Editor zu aktivieren.

Unten auf dem Bildschirm sollte der Abschnitt „Benutzerdefinierte Robots.txt-Vorschau“ angezeigt werden, in dem die von WordPress hinzugefügten Standardregeln angezeigt werden.

Standardmäßige Robots.txt-Regeln in WordPress

Die Standardregeln, die im Abschnitt „Benutzerdefinierte Robots.txt-Vorschau“ (siehe Screenshot oben) angezeigt werden, weisen Roboter an, Ihre WordPress-Kerndateien nicht zu crawlen. Für Suchmaschinen ist es nicht notwendig, direkt auf diese Dateien zuzugreifen, da sie keinen relevanten Site-Inhalt enthalten.

Wenn Sie aus irgendeinem Grund die von WordPress hinzugefügten Standardregeln entfernen möchten, müssen Sie den Filter-Hook „robots_txt“ in WordPress verwenden.

Hinzufügen von Regeln mit dem Regel-Generator

Mit dem Regel-Generator können Sie Ihre eigenen benutzerdefinierten Regeln für bestimmte Pfade auf Ihrer Site hinzufügen.

Wenn Sie beispielsweise eine Regel hinzufügen möchten, um alle Roboter aus einem temporären Verzeichnis zu blockieren, können Sie dies mit dem Regel-Generator tun.

Um eine Regel hinzuzufügen, klicken Sie auf die Schaltfläche „Regel hinzufügen“ und füllen Sie dann die unten beschriebenen Felder aus.

Benutzeragent

Geben Sie zunächst den Benutzeragenten in das Feld „Benutzeragent“ ein.

Wenn Sie beispielsweise den Crawler von Google angeben möchten, geben Sie „Googlebot“ in das Feld „User Agent “ ein.

Wenn Sie eine Regel wünschen, die für alle Benutzeragenten gilt, geben Sie * in das Feld „Benutzeragent“ ein.

Richtlinie

Wählen Sie als Nächstes den Regeltyp im Dropdown- Menü „Richtlinie“ aus. Sie können aus vier Regeltypen auswählen:

• Durch „Zulassen“ wird Crawlern mit dem angegebenen Benutzeragenten der Zugriff auf das Verzeichnis oder die Datei im Feld „Wert“ gestattet.
• Durch Blockieren werden Crawler mit dem angegebenen Benutzeragenten blockiert, die auf das Verzeichnis oder die Datei im Feld „Wert“ zugreifen.
• Mit Clean-param können Sie Seiten mit URL-Parametern ausschließen, die denselben Inhalt mit einer anderen URL liefern können. Yandex, die einzige Suchmaschine, die diese Direktive derzeit unterstützt, bietet hier eine gute Erklärung mit Beispielen .
• Die Crawl-Verzögerung gibt Crawlern an, wie häufig sie Ihre Inhalte crawlen können. Eine Crawl-Verzögerung von 10 weist Crawler beispielsweise an, Ihre Inhalte nicht öfter als alle 10 Sekunden zu crawlen.
  Derzeit wird diese Anweisung nur von Bing, Yahoo und Yandex unterstützt. Sie können die Crawling-Rate des Google-Crawlers in der Google Search Console ändern .

Wert

Geben Sie als Nächstes den Verzeichnispfad oder den Dateinamen in das Feld „Wert“ ein.

Sie können einen Verzeichnispfad wie /wp-content/backups/ und Dateipfade wie /wp-content/backups/temp.png eingeben.

Sie können * auch als Platzhalter verwenden, z. B. /wp-content/backup-*.

Wenn Sie weitere Regeln hinzufügen möchten, klicken Sie auf die Schaltfläche „Regel hinzufügen“ und wiederholen Sie die obigen Schritte.

Wenn Sie fertig sind, klicken Sie auf die Schaltfläche „Änderungen speichern“ .

Ihre Regeln werden im Abschnitt „Benutzerdefinierte Robots.txt-Vorschau“ und in Ihrer Robots.txt-Datei angezeigt, die Sie durch Klicken auf die Schaltfläche „Robots.txt öffnen“ anzeigen können.

Bearbeiten von Regeln mit dem Regel-Builder

Um eine hinzugefügte Regel zu bearbeiten, ändern Sie einfach die Details im Regel-Generator und klicken Sie auf die Schaltfläche „Änderungen speichern“ .

Löschen einer Regel im Regel-Builder

Um eine hinzugefügte Regel zu löschen, klicken Sie auf das Papierkorbsymbol rechts neben der Regel.

Ändern der Reihenfolge der Regeln im Regel-Generator

Sie können die Reihenfolge, in der Ihre benutzerdefinierten Regeln in Ihrer robots.txt angezeigt werden, ganz einfach ändern, indem Sie die Einträge per Drag & Drop in den Regel-Generator ziehen.

Klicken und halten Sie das Drag & Drop-Symbol rechts neben der Regel und verschieben Sie die Regel an die Stelle, an der sie erscheinen soll, wie unten gezeigt.

Google erklärt hier gut, warum die Reihenfolge, in der Sie Ihre Regeln platzieren, wichtig ist .

Importieren Sie Ihre eigene Robots.txt in All in One SEO

Sie können Ihre eigenen Robots.txt-Dateien oder Regeln ganz einfach aus einer anderen Quelle importieren.

Klicken Sie zunächst auf die Schaltfläche „Importieren“ , um das Fenster „Robots.txt importieren“ zu öffnen.

Im Fenster „Robots.txt importieren“ können Sie entweder von einer URL importieren, indem Sie die URL einer Robots.txt in das Feld „Von URL importieren“ eingeben, oder Sie können den Inhalt einer Robots.txt in das Textfeld „Robots.txt einfügen“ einfügen.

Klicken Sie anschließend auf die Schaltfläche „Importieren“ .

Verwenden erweiterter Regeln im Regel-Generator

Der Robots.txt Rule Builder unterstützt auch die Verwendung erweiterter Regeln. Dazu gehören Regex-Muster sowie URL-Parameter.

Hier sind drei Beispiele für die Verwendung erweiterter Regeln:

In den obigen Beispielen werden diese erweiterten Regeln angezeigt:

• /search$ – dies verwendet reguläre Ausdrücke, um den Zugriff auf den genauen Pfad „/search“ zu ermöglichen.
• /search/ – dies blockiert den Zugriff auf Pfade, die mit „/search/“ beginnen, aber keine exakte Übereinstimmung darstellen.
• /?display=wide – ermöglicht den Zugriff auf die Homepage mit dem passenden URL-Parameter

Erweiterte Regeln wie diese ermöglichen eine detaillierte Kontrolle über die robots.txt-Datei Ihrer Site, sodass Sie die vollständige Kontrolle darüber haben, wie Benutzeragenten auf Ihre Website zugreifen.

Unerwünschte Crawler blockieren

Mit der Option AI-Crawler blockieren können Sie Ihrer robots.txt Regeln hinzufügen, die bekannte Crawler wie AI-Crawler und Google AdsBot blockieren.

Sie können jeden einzelnen Crawler auswählen, um ihn zu blockieren, oder Sie können " Alle AI Crawler" auswählen, um alle aufgelisteten Crawler zu blockieren.

Blockieren Sie das Crawling von URLs für die interne Site-Suche

Mit der Einstellung Block Crawling of Internal Site Search URLs können Sie Regeln zu Ihrer robots.txt hinzufügen, um das Crawlen von URLs für Suchseiten zu verhindern. Dadurch wird das unnötige Crawlen Ihrer Website reduziert.

Robots.txt-Editor für WordPress Multisite

Es gibt auch einen Robots.txt-Editor für Multisite-Netzwerke. Details finden Sie in unserer Dokumentation zum Robots.txt-Editor für Multisite-Netzwerke hier .