Möchten Sie wissen, wie man robots.txt-Dateien in WordPress bearbeitet?
Eine robots.txt-Datei ist ein leistungsfähiges SEO-Tool, da sie als Website-Leitfaden für Suchmaschinen-Crawl-Bots oder Robots dient. Wenn Sie Bots anweisen, unnötige Seiten nicht zu crawlen, können Sie die Ladegeschwindigkeit Ihrer Website und die Platzierung in Suchmaschinen verbessern.
In diesem Beitrag zeige ich Ihnen eine Schritt-für-Schritt-Anleitung, wie Sie Ihre robots.txt-Datei in WordPress bearbeiten können. Ich werde auch erklären, was eine robots.txt-Datei ist und warum sie wichtig ist.
Klicken Sie einfach auf diese Links, um direkt zu den verschiedenen Abschnitten zu gelangen:
In diesem Artikel
Was ist eine Robots.txt-Datei?
Eine robots.txt-Datei teilt Suchmaschinen mit, wie sie Ihre Website crawlen sollen - wo sie hingehen dürfen und wo nicht.
Suchmaschinen wie Google verwenden diese Webcrawler, manchmal auch Webroboter genannt, um Websites zu archivieren und zu kategorisieren.
Die meisten Bots sind so konfiguriert, dass sie auf dem Server nach einer robots.txt-Datei suchen, bevor sie eine andere Datei von Ihrer Website lesen. Auf diese Weise wird festgestellt, ob Sie spezielle Anweisungen für das Crawlen und Indizieren Ihrer Website hinzugefügt haben.
Die Datei robots.txt wird in der Regel im Stammverzeichnis, auch bekannt als Hauptordner Ihrer Website, gespeichert.
Die URL kann wie folgt aussehen:
http://www.example.com/robots.txt
Um die robots.txt-Datei für Ihre eigene Website zu überprüfen, ersetzen Sie einfach http://www.example.com/ durch Ihre Domain und fügen Sie robots.txt am Ende hinzu.
Schauen wir uns nun an, wie das grundlegende Format einer robots.txt-Datei aussieht:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Der User-Agent bezieht sich auf den Suchmaschinen-Bot oder -Roboter, den Sie blockieren oder zulassen möchten, um Ihre Website zu crawlen (z. B. den Googlebot-Crawler).
Bei der Bearbeitung Ihrer robots.txt-Datei können Sie mehrere Anweisungen einfügen, um bestimmte URLs entweder zuzulassen oder zu verbieten, und mehrere Sitemaps hinzufügen. Sie können auch URL-Parameter mit der Richtlinie Clean-param ausschließen und die Häufigkeit der Besuche von Suchbots mit der Richtlinie Crawl-delay festlegen.
Standard-Robots.txt-Datei in WordPress
Standardmäßig erstellt WordPress automatisch eine robots.txt-Datei für Ihre Website. Auch wenn Sie keinen Finger rühren, sollte Ihre Website bereits über die WordPress-Standarddatei robots.txt verfügen.
Wenn Sie sie jedoch später mit Ihren eigenen Regeln anpassen, wird der Standardinhalt ersetzt.
So sieht die Standard-WordPress-Datei robots.txt aus:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Das Sternchen nach User-agent: * bedeutet, dass die robots.txt-Datei für alle Webroboter bestimmt ist, die Ihre Website besuchen. Wie bereits erwähnt, verbietet das Disallow: /wp-admin/, dass Robots Ihre wp-admin-Seite nicht besuchen sollen.
Sie können Ihre robots.txt-Datei testen, indem Sie /robots.txt an das Ende Ihres Domainnamens anhängen. Wenn Sie zum Beispiel "https://aioseo.com/robots.txt" in Ihren Webbrowser eingeben, wird die robots.txt-Datei für AIOSEO angezeigt:
Nachdem Sie nun wissen, was eine robots.txt-Datei ist und wie sie funktioniert, wollen wir uns ansehen, warum die robots.txt-Datei überhaupt wichtig ist.
Warum ist die Datei Robots.txt wichtig?
Die robots.txt-Datei ist wichtig, wenn Sie das wollen:
- Optimieren Sie die Ladegeschwindigkeit Ihrer Website - indem Sie Bots anweisen, keine Zeit auf Seiten zu verschwenden, die Sie nicht crawlen und indexieren wollen, können Sie Ressourcen freisetzen und die Ladegeschwindigkeit Ihrer Website erhöhen.
- Optimierung der Serverauslastung - das Blockieren von Bots, die Ressourcen verschwenden, entlastet Ihren Server und reduziert 404-Fehler.
Wann das Meta-Noindex-Tag anstelle von Robots.txt verwendet werden sollte
Wenn Ihr primäres Ziel darin besteht, zu verhindern, dass bestimmte Seiten in die Suchmaschinenergebnisse aufgenommen werden, ist die Verwendung eines noindex-Meta-Tags der richtige Ansatz.
Dies liegt daran, dass die robots.txt Suchmaschinen nicht direkt anweist, Inhalte nicht zu indizieren - sie weist sie lediglich an, sie nicht zu crawlen.
Mit anderen Worten: Sie können robots.txt verwenden, um spezifische Regeln für die Interaktion von Suchmaschinen und anderen Bots mit Ihrer Website festzulegen, aber es wird nicht explizit kontrolliert, ob Ihr Inhalt indiziert wird oder nicht.
In diesem Sinne zeigen wir Ihnen, wie Sie Ihre robots.txt-Datei in WordPress mit AIOSEO Schritt für Schritt bearbeiten können.
Bearbeiten der Robots.txt in WordPress mit AIOSEO
Der einfachste Weg, die robots.txt-Datei zu bearbeiten, ist die Verwendung des besten WordPress SEO-Plugins, All in One SEO (AIOSEO).
AIOSEO ist ein leistungsstarkes und dennoch einfach zu bedienendes SEO-Plugin, das bereits über 3 Millionen Nutzer hat. Das bedeutet, dass Millionen von cleveren Bloggern AIOSEO nutzen, um ihre Suchmaschinenplatzierungen zu verbessern und qualifizierten Traffic auf ihre Blogs zu leiten. Das liegt daran, dass das Plugin über viele leistungsstarke Funktionen und Module verfügt, mit denen Sie Ihre SEO-Einstellungen richtig konfigurieren können. Beispiele hierfür sind:
- Suchstatistiken: Mit dieser leistungsstarken Google Search Console-Integration können Sie Ihre Keyword-Rankings nachverfolgen und wichtige SEO-Kennzahlen mit nur einem Klick abrufen und vieles mehr.
- Schema-Generator der nächsten Generation: Mit diesem No-Code-Schema-Generator können Benutzer jedes Schema-Markup auf Ihrer Website generieren und ausgeben.
- Umleitungsmanager : Hilft Ihnen, Umleitungen zu verwalten und 404-Fehler zu vermeiden, sodass Suchmaschinen Ihre Site einfacher crawlen und indizieren können.
- Link Assistant : Leistungsstarkes internes Verlinkungstool, das den Linkaufbau zwischen den Seiten Ihrer Website automatisiert . Außerdem erhalten Sie eine Prüfung der ausgehenden Links.
- SEO-Vorschau : Dies gibt Ihnen einen Überblick über Ihre Such- und Social Snippets und die allgemeine SEO, sodass Sie Ihre Optimierung verbessern können.
- IndexNow: Für die schnelle Indizierung in Suchmaschinen, die das IndexNow-Protokoll unterstützen (wie Bing und Yandex).
- Sitemap-Generator : Erstellen Sie automatisch verschiedene Arten von Sitemaps, um alle Suchmaschinen über Aktualisierungen auf Ihrer Site zu informieren.
- Und mehr .
Ein Grund, warum Benutzer das Plugin lieben, ist, dass es Ihnen mehr Kontrolle darüber gibt, wie Suchmaschinen Ihre Website crawlen. Dies ist dank des erweiterten robots.txt-Editors möglich, mit dem Sie Ihre robots.txt-Datei einfach konfigurieren und die Standard-WordPress-Datei außer Kraft setzen können.
Beginnen wir also mit der Bearbeitung Ihrer robots.txt-Datei.
Um Ihre Robots.txt-Datei zu bearbeiten, müssen Sie zunächst die benutzerdefinierte Robots.txt-Datei aktivieren.
Um Ihre robots.txt-Datei zu bearbeiten, klicken Sie im Menü All in One SEO auf Tools und dann auf die Registerkarte Robots.txt Editor.
AIOSEO erstellt dann eine dynamische robots.txt-Datei. Deren Inhalt wird in Ihrer WordPress-Datenbank gespeichert und kann in Ihrem Webbrowser angezeigt werden, wie wir Ihnen gleich zeigen werden.
Sobald Sie den Robots.txt-Editor geöffnet haben, müssen Sie die benutzerdefinierte Robots.txt aktivieren.
Klicken Sie auf die Schaltfläche, damit sie blau wird.
Unten auf dem Bildschirm sehen Sie dann den Abschnitt Robots.txt-Vorschau, in dem die Standardregeln von WordPress angezeigt werden, die Sie mit Ihren eigenen überschreiben können. Die Standardregeln weisen Robots an, Ihre WordPress-Kerndateien (Verwaltungsseiten) nicht zu crawlen.
Kommen wir nun zum Hinzufügen Ihrer eigenen Regeln. Dafür gibt es 2 Möglichkeiten: Sie können den Regelersteller verwenden oder eine robots.txt-Datei von einer anderen Website importieren.
Methode 1: Regeln mit dem Rule Builder hinzufügen
Mit dem Rule Builder können Sie Ihre eigenen Regeln hinzufügen, um festzulegen, welche Seiten von den Robots gecrawlt werden sollen und welche nicht.
Sie können den Regelersteller zum Beispiel verwenden, wenn Sie eine Regel hinzufügen möchten, die alle Robots aus einem temporären Verzeichnis blockiert.
Um eine benutzerdefinierte Regel hinzuzufügen, geben Sie den User Agent (z. B. den Googlebot-Crawler) in das Feld User Agent ein. Sie können auch das Symbol * verwenden, um Ihre Regel auf alle User Agents (Robots) anzuwenden.
Wählen Sie dann eine der voreingestellten robots.txt-Direktiven aus: Zulassen, Nicht zulassen, Clean-param oder Crawl-delay.
Sie können auch weitere Richtlinien hinzufügen, indem Sie auf die Schaltfläche Regel hinzufügen klicken.
Nachdem Sie sich für die anzuwendende Richtlinie entschieden haben, müssen Sie den Verzeichnispfad oder Dateinamen in das Feld Wert eingeben.
Sobald dies geschehen ist, können Sie auf die Schaltfläche Änderungen speichern in der rechten unteren Ecke der Seite klicken.
Wenn Sie Ihre neuen Regeln gespeichert haben, werden sie im Abschnitt Robots.txt-Vorschau angezeigt.
Um Ihre robots.txt-Datei anzuzeigen, klicken Sie auf die Schaltfläche Robots.txt öffnen.
Dies führt Sie zu der URL, unter der Ihre robot.txt gehostet wird.
Methode 2: Regeln von einer anderen Website importieren
Eine weitere einfache Möglichkeit, Richtlinien in Ihre robots.txt aufzunehmen, ist der Import von einer anderen Website. Diese Funktion ist praktisch, wenn Sie eine Website erstellt haben oder eine Website mit einer robots.txt-Datei kennen, die Sie replizieren möchten.
Um eine robots.txt-Datei von einer anderen Website zu importieren, gehen Sie in das AIOSEO-Menü und dann auf Tools " Robots.txt " Enable Custom Robots.txt.
Klicken Sie anschließend auf die Option Importieren.
Daraufhin öffnet sich ein Fenster, in das Sie die URL der Website einfügen können, von der Sie die robots.txt-Datei beziehen möchten.
Klicken Sie auf " Importieren", und Sie werden aufgefordert, Ihre Website neu zu laden. Nach dem Neuladen wird das Plugin die robots.txt-Datei ziehen und auf Ihrer Website implementieren.
Alternativ können Sie auch die robots.txt-Datei von Ihrer Zielsite kopieren und in das vorgesehene Feld einfügen. Klicken Sie erneut auf Importieren, und die robots.txt-Datei wird Ihrer Website hinzugefügt.
Dies ist wahrscheinlich der einfachste Weg, eine benutzerdefinierte robots.txt-Datei zu Ihrer WordPress-Website hinzuzufügen.
Bearbeiten der Robots.txt-Regeln mit dem Rule Builder
Um Ihre robots.txt-Regeln zu bearbeiten, können Sie die Details in der Regelerstellung ändern.
Sie können eine Regel in der robots.txt-Datei auch löschen, indem Sie auf das Mülleimer-Symbol rechts neben der Regel klicken.
Und das ist noch nicht alles! Mit dem robots.txt-Editor von AIOSEO können Sie Regeln nach oben oder unten verschieben, um sie in der Reihenfolge ihrer Priorität zu platzieren. Klicken Sie dazu auf die 6 Punkte neben dem Mülleimer und halten Sie sie gedrückt, um eine Regel zu ziehen und neu zu positionieren.
Wenn Sie die Bearbeitung Ihrer robots.txt abgeschlossen haben, klicken Sie auf die Schaltfläche Änderungen speichern, um Ihre neuen Regeln zu speichern.
Bonusfunktionen für die Bearbeitung der Robots.txt
Unerwünschte Bots oder Web Crawler blockieren [Einfacher Weg]
Webcrawler, auch bekannt als Bots oder Spider, sind ein zweischneidiges Schwert. Viele sind, wie Suchmaschinen, für den Erfolg Ihrer Website notwendig. Einige können jedoch Ihre Serverressourcen aufbrauchen, Ihre Website verlangsamen oder sogar Ihre Inhalte stehlen.
Wie gehe ich normalerweise damit um?
Da ich keinen technischen Hintergrund habe, suche ich immer nach dem einfachen Weg. Der einfachste Weg, unerwünschte Bots davon abzuhalten, auf Ihrer Website zu crawlen, ist die Crawl Cleanup-Funktion von AIOSEO. Diese bietet Einstellungen, mit denen Sie den Bot-Verkehr auf Ihrer Website steuern können.
Mit dieser Funktion können Sie die Bots auswählen, die Sie daran hindern möchten, Ihre Website zu crawlen. Sie müssen nur die Bots auswählen, die Sie blockieren möchten.
Wenn Sie einen unerwünschten Bot blockieren, bearbeitet AIOSEO die robots.txt-Datei mit den disallow-Direktiven. Um dies alles zu vereinfachen, ist diese Funktion auch in den robots.txt-Editor integriert.
Blockierung interner Suchvorgänge auf der Website
Websites generieren oft unnötige URLs aus internen Suchen, was zu verschwendeten Crawl-Budgets und potenziellem Spam führt. Auch dies lässt sich mit AIOSEOs Crawl Cleanup leicht beheben. Alles, was Sie tun müssen, ist, die Filter mit Hilfe von Kippschaltern zu konfigurieren.
AIOSEO gibt Ihnen die Möglichkeit zu kontrollieren, wie Suchmaschinen und andere Bots mit URLs interagieren, die durch interne Site-Suchen erstellt wurden. Sie können:
- Legen Sie eine maximale Zeichengrenze für Suchanfragen fest, um aufgeblähte Such-URLs zu vermeiden.
- Emojis und Sonderzeichen werden automatisch herausgefiltert, um unübersichtliche oder unsinnige Suchbegriffe zu vermeiden.
- Blockieren Sie häufige Spam-Muster und verhindern Sie, dass Junk-Suchen unnötige indizierbare URLs erzeugen.
Auch hier bearbeitet AIOSEO Ihre robots.txt-Datei im Backend. Alternativ können Sie diese Einstellungen auch in Ihrem robots.txt-Editor vornehmen:
So einfach ist das!
Sie haben Ihre robots.txt-Datei bearbeitet.
Bearbeitung von Robots.txt-Dateien: Antworten auf Ihre FAQs
Was ist eine robots.txt-Datei?
Eine robots.txt-Datei ist eine Textdatei, die Website-Besitzer verwenden, um mit Web-Crawlern oder Robotern zu kommunizieren, welche Teile ihrer Website von Suchmaschinen gecrawlt und indiziert werden sollen.
Wo befindet sich die robots.txt-Datei?
Die Datei robots.txt befindet sich normalerweise im Stammverzeichnis einer Website. Ihre URL lautet normalerweise https://www.example.com/robots.txt.
Wie kann ich robots.txt-Dateien am besten bearbeiten?
Die beste Möglichkeit, Ihre robots.txt-Datei zu bearbeiten, ist die Verwendung eines Plugins wie All In One SEO (AIOSEO). Es ist das beste WordPress-SEO-Plugin und verfügt über einen fortschrittlichen robots.txt-Editor, der die Optimierung von robots.txt-Dateien sehr einfach macht.
Wir hoffen, dass dieses Tutorial Ihnen gezeigt hat, wie Sie eine robots.txt-Datei in WordPress einfach bearbeiten können. Vielleicht möchten Sie auch andere Artikel in unserem Blog lesen, wie z. B. unsere Tipps zur Indizierung bei Google oder unseren Leitfaden zur Verwendung von Suchstatistiken, um Ihre Rankings zu verbessern.
Wenn Sie diesen Artikel hilfreich fanden, abonnieren Sie bitte unseren YouTube-Kanal . Dort finden Sie viele weitere hilfreiche Tutorials. Sie können uns auch auf X (Twitter) , LinkedIn oder Facebook folgen, um auf dem Laufenden zu bleiben.
Möchten Sie AIOSEO kostenlos testen?
Geben Sie die URL Ihrer WordPress-Website ein, um AIOSEO Lite zu installieren.
Offenlegung: Unsere Inhalte werden von unseren Lesern unterstützt. Das bedeutet, wenn Sie auf einige unserer Links klicken, erhalten wir möglicherweise eine Provision. Wir empfehlen nur Produkte, von denen wir glauben, dass sie unseren Lesern einen Mehrwert bieten.
Hallo, vielen Dank für den Artikel.
Ich habe kürzlich Ihren Artikel über den Verfall von Inhalten gelesen. Eines unserer Probleme ist die Seitengeschwindigkeit, und ich habe daran gearbeitet, die Ladezeit zu verkürzen. Allerdings bin ich kein Profi im Programmieren oder in irgendetwas, das auch nur im Entferntesten mit technischen Dingen zu tun hat. Ich beschäftige mich normalerweise mit Marketing und Design.
Vor diesem Hintergrund ist meine Frage folgende: Wenn ich Bilder hochlade und ihre Bildunterschriften und Alt-Tags schreibe, möchte ich, dass sie in den Suchergebnissen für die Bildersuche erscheinen, aber ich möchte nicht, dass der Index aufgebläht wird.
Gibt es eine Taktik, die Sie mir empfehlen, um dies zu vermeiden? Ich habe die Bilder-Sitemap bereits deaktiviert (gerade heute), nachdem ich gelesen habe, dass sie nicht notwendig ist und meine aktuellen Bilder nicht von der Website entfernt.
Das bringt mich auch dazu, eine zweite Frage zu stellen - wie kann ich (als jemand, der nicht weiß, wie man html, js oder irgendetwas in dieser Art liest) wissen, ob das Deaktivieren der Bilder-Sitemap die Ladegeschwindigkeit verbessert hat? Vielen Dank für die Hilfe!