Wenn Sie über ein WordPress-Multisite-Netzwerk verfügen, können Sie globale robots.txt-Regeln verwalten, die auf alle Sites im Netzwerk angewendet werden.
WICHTIG:
Diese Funktion funktioniert derzeit nur für WordPress-Multisite-Netzwerke, die als Subdomains eingerichtet sind. Sie funktioniert nicht für Netzwerke, die als Unterverzeichnisse eingerichtet sind.
In diesem Artikel
- Anleitungsvideo
- Standardmäßige Robots.txt-Regeln in WordPress
- Hinzufügen von Regeln mit dem Regel-Generator
- Bearbeiten von Regeln mit dem Regel-Builder
- Löschen einer Regel im Regel-Builder
- Unerwünschte Crawler blockieren
- Blockieren Sie das Crawling von URLs für die interne Site-Suche
- Verwalten von Robots.txt für Subsites
Anleitungsvideo
Um zu beginnen, gehen Sie zum Netzwerkadministrator und klicken Sie dann im linken Menü auf All in One SEO > Netzwerktools .
Sie sehen unseren standardmäßigen Robots.txt-Editor , in dem Sie benutzerdefinierte Regeln für Ihre Robots.txt aktivieren und verwalten können.
Klicken Sie auf den Schalter „Benutzerdefinierte Robots.txt aktivieren“, um den Regeleditor zu aktivieren.
Unten auf dem Bildschirm sollte der Abschnitt „Robots.txt-Vorschau“ angezeigt werden, in dem die von WordPress hinzugefügten Standardregeln angezeigt werden.
Standardmäßige Robots.txt-Regeln in WordPress
Die Standardregeln, die im Abschnitt Robots.txt-Vorschau (siehe Screenshot oben) angezeigt werden, weisen Roboter an, Ihre WordPress-Kerndateien nicht zu crawlen. Für Suchmaschinen ist es nicht notwendig, direkt auf diese Dateien zuzugreifen, da sie keinen relevanten Site-Inhalt enthalten.
Wenn Sie aus irgendeinem Grund die von WordPress hinzugefügten Standardregeln entfernen möchten, müssen Sie den Filter-Hook „robots_txt“ in WordPress verwenden.
Hinzufügen von Regeln mit dem Regel-Generator
Mit dem Regel-Generator können Sie Ihre eigenen benutzerdefinierten Regeln für bestimmte Pfade auf Ihrer Site hinzufügen.
Wenn Sie beispielsweise eine Regel hinzufügen möchten, um alle Roboter aus einem temporären Verzeichnis zu blockieren, können Sie dies mit dem Regel-Generator tun.
Um eine Regel hinzuzufügen, geben Sie den Benutzeragenten in das Feld „Benutzeragent“ ein. Wenn Sie * verwenden, wird die Regel auf alle Benutzeragenten angewendet.
Wählen Sie als Nächstes entweder „Zulassen“ oder „Nicht zulassen“ aus, um den Benutzeragenten zuzulassen oder zu blockieren.
Geben Sie als Nächstes den Verzeichnispfad oder Dateinamen in das Feld „Verzeichnispfad“ ein.
Klicken Sie abschließend auf die Schaltfläche Änderungen speichern .
Wenn Sie weitere Regeln hinzufügen möchten, klicken Sie auf die Schaltfläche „Regel hinzufügen“ , wiederholen Sie die obigen Schritte und klicken Sie auf die Schaltfläche „Änderungen speichern“ .
Ihre Regeln werden im Abschnitt „Robots.txt-Vorschau“ und in Ihrer Robots.txt-Datei angezeigt, die Sie durch Klicken auf die Schaltfläche „Robots.txt öffnen“ anzeigen können.
Jede Regel, die Sie hier hinzufügen, gilt für alle Sites in Ihrem Netzwerk und kann auf der Ebene der einzelnen Sites nicht außer Kraft gesetzt werden.
Bearbeiten von Regeln mit dem Regel-Builder
Um eine hinzugefügte Regel zu bearbeiten, ändern Sie einfach die Details im Regel-Generator und klicken Sie auf die Schaltfläche „Änderungen speichern“ .
Löschen einer Regel im Regel-Builder
Um eine hinzugefügte Regel zu löschen, klicken Sie auf das Papierkorbsymbol rechts neben der Regel.
Unerwünschte Crawler blockieren
Mit der Option AI-Crawler blockieren können Sie Ihrer robots.txt Regeln hinzufügen, die bekannte Crawler wie AI-Crawler und Google AdsBot blockieren.
Sie können jeden einzelnen Crawler auswählen, um ihn zu blockieren, oder Sie können " Alle AI Crawler" auswählen, um alle aufgelisteten Crawler zu blockieren.
Blockieren Sie das Crawling von URLs für die interne Site-Suche
Mit der Einstellung Block Crawling of Internal Site Search URLs können Sie Regeln zu Ihrer robots.txt hinzufügen, um das Crawlen von URLs für Suchseiten zu verhindern. Dadurch wird das unnötige Crawlen Ihrer Website reduziert.
Verwalten von Robots.txt für Subsites
Im Multisite-Robots.txt-Editor können Sie die Robots-Regeln für jede Site in Ihrem Netzwerk ganz einfach bearbeiten.
Klicken Sie zunächst einfach auf das Dropdown-Menü zur Site-Auswahl oben im Robots.txt-Editor. Wählen Sie dort die Site aus, für die Sie die Regeln bearbeiten möchten, oder suchen Sie danach, indem Sie die Domain eingeben:
Sobald Sie eine Site ausgewählt haben, werden die unten stehenden Regeln automatisch aktualisiert und Sie können die Regeln nur für diese Site ändern. Klicken Sie nach dem Ändern der Regeln für die Subsite unbedingt auf „Änderungen speichern“.