WordPress Robots.txt Generator und Editor

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-content/uploads/wpforms/
Disallow: /xmlrpc.php
Sitemap: https://aioseo.com/video-sitemap.xml
Sitemap: https://aioseo.com/sitemap.xml
Sitemap: https://aioseo.com/sitemap.rss

Bevor wir die robots.txt-Datei im obigen Beispiel besprechen, wollen wir uns die wichtigsten Bestandteile einer robots.txt-Datei ansehen.

• Benutzer-Agent: Der User-Agent ist das, was Suchbots verwenden, um sich zu identifizieren. Sie können diese Richtlinie verwenden, um bestimmte Suchmaschinen-Bots anzusprechen. Wenn Sie beispielsweise möchten, dass nur Google Ihre Website crawlt, sollten Sie googlebot anstelle von * hinzufügen. Das * bedeutet, dass alle Suchmaschinen wie Google, Bing, Yahoo und andere Ihre Website crawlen dürfen.
• Erlauben: Dies zeigt an, dass die Suchmaschine diesen bestimmten Bereich der Website durchsuchen darf.
• Nicht zulassen: Mit dieser Direktive können Sie Suchmaschinen den Zugriff auf bestimmte Seiten oder Dateien auf Ihrer Website verweigern.

Um auf das robots.txt-Beispiel zurückzukommen, haben wir allen Suchmaschinen erlaubt, unsere Website mit der User-Agent-Anweisung zu crawlen: * erlaubt. Wir haben auch URLs zugelassen und nicht zugelassen, je nachdem, wie Google unsere Website crawlen soll.

Mit der Datei robots.txt können Sie auch mehrere Sitemaps übermitteln. In unserer robots.txt-Datei haben wir eine separate Video-Sitemap für unsere Website angemeldet. Dies erleichtert Suchmaschinen das Auffinden, Crawlen und Indizieren von Videos auf unserer Website.

Eine Sitemap ist eine Navigationskarte für Ihre Website. Sie teilt den Suchmaschinen mit, wie viele Seiten Sie auf Ihrer Website haben. Mit AIOSEOs WordPress-Sitemap-Generator können Sie Ihre Sitemaps einfach erstellen und einreichen.

Viele Leute fragen auch: "Wo ist robots.txt in WordPress?", falls sie Änderungen vornehmen wollen.

Der Speicherort der WordPress robots.txt befindet sich im Stammverzeichnis Ihrer WordPress-Website. Sie können die Datei anzeigen, indem Sie mit einem FTP-Client oder cPanel eine Verbindung zu Ihrer Website herstellen.

Aber so weit müssen Sie nicht gehen, wenn Sie AIOSEO verwenden. Damit können Sie Ihre robots.txt-Datei von Ihrem WordPress-Dashboard aus bearbeiten und anzeigen. Sie brauchen kein separates WordPress robots.txt-Plugin. Wir werden später in diesem Leitfaden ausführlicher darüber sprechen.

Sie können sie auch online einsehen, indem Sie den Namen Ihrer Domäne gefolgt von dem Text "robots.txt" eingeben. Zum Beispiel: https://www.example.com/robots.txt.

Nun, da Sie wissen, was eine robots.txt-Datei ist und wie sie aussieht, lassen Sie uns darüber sprechen, warum sie für Ihre Website wichtig ist.

Warum brauchen Sie eine Robots.txt-Datei für Ihre WordPress-Website?

Mit der Datei robots.txt können Sie steuern, wie Suchmaschinen Ihre Website crawlen und indizieren. Ohne die robots.txt-Datei werden Suchmaschinen Ihre gesamte Website durchsuchen, auch die unwichtigen Seiten.

Wenn Sie die Suchroboter nicht davon abhalten, unnötige Seiten zu crawlen, werden sie Ihr gesamtes Crawl-Budget aufbrauchen und möglicherweise nicht die Seiten crawlen, die sie crawlen sollen.

Das Crawl-Budget ist der Grad der Aufmerksamkeit, den eine Suchmaschine wie Google Ihrer Website schenkt. Dies hängt davon ab, wie häufig Suchmaschinen Ihre Website crawlen möchten und wie häufig Ihre Website gecrawlt werden kann.

Wenn Sie Ihr Crawl-Budget verschwenden, können Google und andere Suchmaschinen Ihre Website nicht effizient crawlen, was die Leistung Ihrer Website beeinträchtigen kann.

Jede Website hat ein begrenztes Crawl-Budget. Suchmaschinen-Bots crawlen während ihrer Crawl-Sitzung nur eine bestimmte Anzahl von Seiten.

Wenn der Bot in der ersten Crawl-Sitzung nicht alle Seiten Ihrer Website crawlen kann, kommt er in der nächsten Sitzung zurück und crawlt die restlichen Seiten.

Je nach Ihrer Website kann es sein, dass die nächsten Crawl-Sitzungen erst in einigen Tagen stattfinden. Dies kann die Indizierung Ihrer Website verlangsamen, und Ihre wichtigen Seiten werden von den Suchmaschinen nicht gecrawlt und indiziert. Dies kann zu einem großen Verlust an Traffic und Geschäft führen.

Sie können dies schnell beheben, indem Sie nicht benötigte Seiten Ihrer Website, wie die WordPress-Administrationsseite, Plugin-Dateien und den Theme-Ordner, deaktivieren. So können Sie Ihr Crawl-Budget einsparen und Ihre Indexierungsrate verbessern.

Jetzt kommen wir zu dem Teil, in dem wir Ihnen erklären, wie Sie die robots.txt-Datei mit AIOSEO anzeigen, bearbeiten, erstellen und einreichen können.

Wie erstelle ich eine Robots.txt-Datei für meine WordPress-Website?

All in One SEO (AIOSEO) macht es sehr einfach, die robots.txt-Datei in WordPress zu erstellen und zu bearbeiten.

Alles, was Sie tun müssen, ist Ihr WordPress-Dashboard aufzurufen und zu All in One SEO " Tools zu gehen.

Anschließend werden Sie auf die Seite Robots.txt Editor weitergeleitet. Von hier aus können Sie die robots.txt-Datei einfach über das Formular hinzufügen oder bearbeiten.

Mit AIOSEO müssen Sie sich nicht um die Formatierung der robots.txt-Datei kümmern. Sie müssen lediglich Direktiven zu den Feldern hinzufügen, und AIOSEO erledigt den Rest.

Wenn Sie die Direktiven hinzugefügt haben, klicken Sie auf Änderungen speichern, um die Einrichtung abzuschließen.

Nachdem Sie Ihre robots.txt-Datei erstellt haben, müssen Sie sie testen, um festzustellen, ob sie Fehler enthält.

Testen Sie Ihre WordPress Robots.txt-Datei

Um Ihre robots.txt-Datei zu testen, rufen Sie einfach das robots.txt-Tool auf und melden sich mit Ihrem Google-Suchkonsolenkonto an.

Geben Sie dann "robots.txt" in das URL-Feld ein und klicken Sie auf Testen.

Wenn die robots.txt-Datei validiert ist, erhalten Sie die Meldung Erlaubt. Ist dies nicht der Fall, erhalten Sie die im Feld hervorgehobenen Fehler und Warnungen.

Und schon sind Sie fertig! Sie haben nun erfolgreich Ihre WordPress robots.txt-Datei erstellt und validiert.

Wir hoffen, dass dieser Leitfaden Ihnen geholfen hat zu lernen, wie Sie mit AIOSEO eine optimierte robots.txt-Datei für Ihre WordPress-Website erstellen können.