Möchten Sie wissen, wie man robots.txt-Dateien in WordPress erstellt?
Mit einer robots.txt-Datei können Sie kontrollieren, wie Suchbots mit Ihrer Website interagieren. Das macht sie zu einem sehr nützlichen SEO-Tool für diejenigen, die wissen, wie man sie benutzt.
In diesem Artikel zeigen wir Ihnen, wie Sie eine robots.txt-Datei in Wordpress erstellen können.
In diesem Artikel
- Was ist eine Robots.txt-Datei?
- Wie man eine Robots.txt-Datei in WordPress erstellt
- Schritt 1: AIOSEO installieren
- Schritt 2: Zugriff auf den Robots.txt-Editor
- Schritt 3: Robots.txt-Direktiven hinzufügen
- Schritt 4: Importieren Sie Robots.txt-Richtlinien von einer anderen Website (optional)
- Schritt 5. Unerwünschte Bots blockieren (optional)
- Schritt 6. Verhindern des Crawlings von internen Site-Such-URLs (optional)
- Schritt 7: Testen Sie Ihre Robots.txt-Datei
- Wie generiert man eine Robots.txt-Datei in WordPress: Ihre FAQs werden beantwortet
Was ist eine Robots.txt-Datei?
Robots.txt ist eine Textdatei, die Website-Besitzer erstellen können, um den Suchmaschinen-Bots mitzuteilen, wie sie mit ihren Websites umgehen sollen, vor allem, welche Seiten sie crawlen und welche sie ignorieren sollen. Im Wesentlichen handelt es sich dabei um den Torwächter Ihrer Website, der im Stammverzeichnis (auch als Hauptordner bekannt) Ihrer Website gespeichert wird.
So sieht es aus:
Sie können Ihre robots.txt-Datei ganz einfach aufrufen, indem Sie https://yoursite.com/robots.txt besuchen .
Dies ist nicht zu verwechseln mit den Robots-Meta-Tags, bei denen es sich um HTML-Tags handelt, die in den Kopf einer Webseite eingebettet sind. Das Tag gilt nur für die Seite, auf der es sich befindet.
Hier sind einige Dinge, für die Sie eine robots.txt-Datei verwenden können:
- Kontrolle des Kriechens
- Direkte Indizierung
- Vermeidung von Problemen mit doppelten Inhalten
- Schutz sensibler Informationen
- Optimiert das Crawl-Budget
- Verbessert die Leistung der Website
Obwohl es sich um eine einfache Textdatei handelt, kann eine optimierte robots.txt-Datei Ihre Suchmaschinenoptimierung erheblich beeinflussen.
Wie man eine Robots.txt-Datei in WordPress erstellt
Sind Sie bereit, robots.txt-Dateien zu erstellen?
Hinweis: WordPress erstellt automatisch eine robots.txt-Datei für Ihre Website. Aber in der Regel muss die Standarddatei möglicherweise optimiert werden.
Die folgenden Schritte zeigen Ihnen, wie Sie eine benutzerdefinierte robots.txt-Datei erstellen können. Keine Sorge. Es sind keine Code- oder technischen Kenntnisse erforderlich.
Schritt 1: AIOSEO installieren
Der erste Schritt zur Erstellung benutzerdefinierter robots.txt-Dateien ist die Installation und Aktivierung von All In One SEO (AIOSEO).
AIOSEO ist ein leistungsstarkes und dennoch einfach zu bedienendes SEO-Plugin, das bereits über 3 Millionen Mal installiert wurde. Millionen von cleveren Bloggern nutzen AIOSEO, um ihre Suchmaschinen-Rankings zu verbessern und qualifizierten Traffic auf ihre Blogs zu leiten. Das Plugin verfügt über viele leistungsstarke Funktionen und Module, mit denen Sie Ihre SEO-Einstellungen richtig konfigurieren können. Beispiele hierfür sind:
- Suchstatistiken: Mit dieser leistungsstarken Google Search Console-Integration können Sie Ihre Keyword-Rankings nachverfolgen und wichtige SEO-Kennzahlen mit nur einem Klick abrufen und vieles mehr.
- Schema-Generator der nächsten Generation: Mit diesem No-Code-Schema-Generator können Benutzer jedes Schema-Markup auf Ihrer Website generieren und ausgeben.
- Umleitungsmanager : Hilft Ihnen, Umleitungen zu verwalten und 404-Fehler zu vermeiden, sodass Suchmaschinen Ihre Site einfacher crawlen und indizieren können.
- Link Assistant: Leistungsstarkes Tool zur internen Verlinkung, das den Aufbau von Links zwischen den Seiten Ihrer Website automatisiert. Es bietet Ihnen auch eine Überprüfung der ausgehenden Links.
- SEO-Vorschau : Dies gibt Ihnen einen Überblick über Ihre Such- und Social Snippets und die allgemeine SEO, sodass Sie Ihre Optimierung verbessern können.
- IndexNow: Für die schnelle Indizierung in Suchmaschinen, die das IndexNow-Protokoll unterstützen (wie Bing und Yandex).
- Sitemap-Generator : Erstellen Sie automatisch verschiedene Arten von Sitemaps, um alle Suchmaschinen über Aktualisierungen auf Ihrer Site zu informieren.
- Und mehr .
Eine Schritt-für-Schritt-Anleitung zur Installation von AIOSEO finden Sie in unserem Installationshandbuch .
Und eine der beliebtesten Funktionen ist unser erweiterter robots.txt-Editor. Mit diesem leistungsstarken Tool können Sie Ihre robots.txt-Datei ganz einfach an Ihre Bedürfnisse anpassen. Außerdem fügt es automatisch Ihre Sitemap-URLs zur robots.txt-Datei hinzu!
Schritt 2: Zugriff auf den Robots.txt-Editor
Sobald Sie AIOSEO aktiviert haben, müssen Sie als Nächstes auf den Robots.txt Editor von AIOSEO zugreifen. Gehen Sie dazu in Ihr AIOSEO-Menü und klicken Sie auf Tools " Robots.txt Editor.
Klicken Sie anschließend auf die Schaltfläche Benutzerdefinierte Robots.txt aktivieren. Auf diese Weise können Sie Ihre robots.txt-Datei bearbeiten.
Schritt 3: Robots.txt-Direktiven hinzufügen
Sobald Sie die Bearbeitung Ihrer robots.txt-Dateien aktiviert haben, können Sie im nächsten Schritt Ihre benutzerdefinierten Richtlinien hinzufügen.
Dies sind die Anweisungen, die die Suchroboter befolgen sollen. Beispiele sind Allow, Disallow, Clean-param und Crawl delay.
Nachfolgend wird erläutert, was die einzelnen Richtlinien bedeuten:
- Zulassen: Erlaubt Benutzer-Agenten (Bots), die URL zu crawlen.
- Nicht zulassen: Verhindert, dass User-Agents (Bots) die URL crawlen können.
- Clean-param: Weist Suchbots an, alle URLs mit den angegebenen URL-Parametern zu ignorieren.
- Crawl-Verzögerung: Legt die Intervalle fest, in denen Suchbots die URL crawlen sollen.
In diesem Abschnitt können Sie auch festlegen, welche User Agents die Richtlinie befolgen sollen. Außerdem müssen Sie den Wert (URL, URL-Parameter oder Häufigkeit) der Direktive festlegen.
Schritt 4: Importieren Sie Robots.txt-Richtlinien von einer anderen Website (optional)
Eine einfachere Methode zur Erstellung von robots.txt-Dateien in WordPress ist die Verwendung der Importfunktion.
Wenn Sie auf die Schaltfläche Importieren klicken, öffnet sich ein Fenster mit 2 Optionen zum Importieren der ausgewählten robots.txt-Datei:
Aus URL importieren: Fügen Sie einfach die URL der robots.txt-Datei ein, die Sie importieren möchten(https://examplesite.com/robots.txt), und klicken Sie auf Importieren. Die robots.txt-Datei wird auf Ihre Website importiert.
Robots.txt-Text einfügen: Öffnen Sie die URL mit der robots.txt-Datei, die Sie importieren möchten, und kopieren Sie den Text. Gehen Sie dann zurück zu Ihrer Website, fügen Sie ihn in das vorgesehene Feld ein und klicken Sie auf Importieren.
Diese Methode ist am besten geeignet, wenn die Website, von der Sie die robots.txt-Datei importieren, Richtlinien enthält, die Sie auf Ihrer Website implementieren möchten.
Schritt 5. Unerwünschte Bots blockieren (optional)
Eine weitere coole Funktion im Robots.txt Editor von AIOSEO ist der Abschnitt Block AI Crawlers. Damit können Sie nicht autorisierte Bots vom Crawlen Ihrer Website abhalten. Diese können zu Performance-, Sicherheits- und SEO-Problemen führen.
Weitere Informationen hierzu finden Sie in unserem Tutorial zum Blockieren von unerwünschtem Bot-Traffic auf Ihrer Website.
Schritt 6. Verhindern des Crawlings von internen Site-Such-URLs (optional)
Websites erzeugen oft überschüssige URLs, wenn Besucher interne Suchfunktionen verwenden, um Inhalte oder Produkte zu finden. Diese dynamisch generierten URLs enthalten in der Regel Parameter, die von Suchmaschinen als eindeutige Seiten behandelt werden. Infolgedessen verschwenden Suchmaschinen möglicherweise Zeit mit dem Crawlen dieser unnötigen URLs, was Ihr Crawl-Budget aufbrauchen und die Indizierung Ihrer wichtigsten Seiten behindern kann.
Sie können dies im Robots.txt Editor von AIOSEO leicht verhindern.
AIOSEO fügt eine "disallow"-Regel in Ihre robots.txt-Datei ein, ohne dass Sie dies für jeden durch die Suche erzeugten Parameter tun müssen.
Weitere Informationen finden Sie in unserem Tutorial zur Bearbeitung Ihrer robots.txt-Datei.
Schritt 7: Testen Sie Ihre Robots.txt-Datei
Sobald Sie Ihre robots.txt-Datei erstellt haben, können Sie sie auf Fehler überprüfen. Dies ist jedoch sehr selten, wenn Sie den robots.txt-Editor von AIOSEO verwenden, da er über eine integrierte Regelvalidierung und Fehlerbehandlung verfügt.
Wenn Sie jedoch überprüfen möchten, ob Ihre robots.txt-Datei fehlerfrei ist, können Sie das robots.txt-Testtool der Google Search Console verwenden. Geben Sie einfach Ihre Eigenschaft ein, und das Tool ruft automatisch Ihre robots.txt-Datei auf und markiert etwaige Fehler.
Wie generiert man eine Robots.txt-Datei in WordPress: Ihre FAQs werden beantwortet
Was ist der Zweck einer robots.txt-Datei?
Eine robots.txt-Datei enthält Anweisungen für Suchmaschinen-Crawler, auf welche Teile Ihrer Website sie zugreifen und diese indizieren dürfen. Sie hilft zu kontrollieren, wie Suchmaschinen mit dem Inhalt Ihrer Website interagieren.
Wie kann ich die robots.txt in WordPress erstellen?
Sie können mit einem Plugin wie All In One SEO (AIOSEO) ganz einfach eine robots.txt-Datei in WordPress erstellen. Sie brauchen nicht einmal Programmierkenntnisse oder technisches Wissen.
Kann ich manuell eine robots.txt-Datei für meine WordPress-Website erstellen?
Ja, Sie können eine robots.txt-Datei manuell mit einem Texteditor erstellen und sie im Stammverzeichnis Ihrer Website ablegen. Dies dauert länger als die Verwendung eines Plugins wie AIOSEO und erfordert fortgeschrittene WordPress-Kenntnisse.
Wir hoffen, dass dieser Beitrag Ihnen geholfen hat zu verstehen, was robots.txt in WordPress ist und warum es wichtig ist, Ihre Seite zu optimieren. Vielleicht möchten Sie auch andere Artikel in unserem Blog lesen, z. B. unseren Leitfaden über Crawling und Indexierung und deren Auswirkungen auf SEO oder unsere Tipps zur Verbesserung Ihrer Indexierung bei Google.
Wenn Sie diesen Artikel hilfreich fanden, abonnieren Sie bitte unseren YouTube-Kanal . Dort finden Sie viele weitere hilfreiche Tutorials. Sie können uns auch auf Twitter , LinkedIn oder Facebook folgen, um auf dem Laufenden zu bleiben.
Möchten Sie AIOSEO kostenlos testen?
Geben Sie die URL Ihrer WordPress-Website ein, um AIOSEO Lite zu installieren.
Offenlegung: Unsere Inhalte werden von unseren Lesern unterstützt. Das bedeutet, wenn Sie auf einige unserer Links klicken, erhalten wir möglicherweise eine Provision. Wir empfehlen nur Produkte, von denen wir glauben, dass sie unseren Lesern einen Mehrwert bieten.
