Eine der am häufigsten gestellten Fragen ist, was der Unterschied zwischen dem NOINDEX-Robots-Meta-Tag und der robots.txt ist und wann welcher verwendet werden sollte. Dieser Artikel geht auf diese Frage ein.
In diesem Artikel
Der NOINDEX Robots-Meta-Tag
Mit dem NOINDEX-Tag wird verhindert, dass Inhalte in Suchergebnissen angezeigt werden. Der NOINDEX-Metatag erscheint im Quellcode Ihres Inhalts und weist eine Suchmaschine an, diesen Inhalt nicht in die Suchergebnisse aufzunehmen.
Der NOINDEX-Robots-Metatag sieht im Quellcode Ihrer Seite folgendermaßen aus:
<meta name="robots" content="noindex" />
Die robots.txt-Datei
Die Datei robots.txt teilt Suchmaschinen mit, wo ihre Crawler auf einer Website hingehen dürfen und wo nicht. Sie enthält die Anweisungen „Zulassen“ und „Nicht zulassen“, die einer Suchmaschine vorgeben, welche Verzeichnisse und Dateien sie crawlen soll und welche nicht.
Dies verhindert jedoch nicht, dass Ihre Inhalte in den Suchergebnissen aufgeführt werden. Auch wenn das blockierte Verzeichnis oder die blockierte Datei von einer beliebigen Seite Ihrer Website oder einer anderen Website aus verlinkt ist, können Suchmaschinen sie trotzdem crawlen.
Ein Beispiel für die Verwendung der Datei robots.txt besteht darin, Suchmaschinen anzuweisen, das möglicherweise auf Ihrem Server vorhandene Verzeichnis „/cgi-bin/“ nicht zu crawlen, da das Verzeichnis nichts enthält, was für Suchmaschinen von Nutzen ist.
Die Standard-Robots.txt für WordPress sieht folgendermaßen aus:
Benutzeragent: * Nicht zulassen: /wp-admin/ Zulassen: /wp-admin/admin-ajax.php
Der Unterschied zwischen NOINDEX und robots.txt
Der Unterschied zwischen beiden ist folgender:
- Die Datei robots.txt dient Suchmaschinen als Orientierung, welche Verzeichnisse und Dateien sie crawlen soll. Sie verhindert jedoch nicht, dass Inhalte indexiert und in den Suchergebnissen aufgeführt werden.
- Der NOINDEX-Robots-Metatag weist Suchmaschinen an, Inhalte nicht in die Suchergebnisse aufzunehmen. Wenn der Inhalt bereits zuvor indexiert wurde, sollten sie ihn vollständig löschen. Suchmaschinen werden dadurch nicht daran gehindert, Inhalte zu crawlen.
Der größte Unterschied besteht darin, dass Sie das NOINDEX-Tag verwenden MÜSSEN und Suchmaschinen das Crawlen des Inhalts erlauben MÜSSEN, wenn Sie möchten, dass Suchmaschinen Inhalte nicht in Suchergebnisse aufnehmen. Wenn Suchmaschinen den Inhalt NICHT crawlen können, können sie das NOINDEX-Meta-Tag NICHT sehen und können den Inhalt daher NICHT aus Suchergebnissen ausschließen.
Wenn Sie also möchten, dass Inhalte nicht in den Suchergebnissen enthalten sind, verwenden Sie NOINDEX. Wenn Sie verhindern möchten, dass Suchmaschinen ein Verzeichnis auf Ihrem Server crawlen, weil es nichts enthält, was sie sehen müssen, verwenden Sie die Anweisung „Disallow“ in Ihrer robots.txt-Datei.
Dokumentation zur Verwendung der NOINDEX-Funktion in All in One SEO finden Sie in unserem Artikel zum Anzeigen oder Ausblenden Ihrer Inhalte in Suchergebnissen hier .
Eine Dokumentation zur Verwendung der Robots.txt-Funktion in All in One SEO finden Sie in unserem Artikel zur Verwendung des Robots.txt-Tools in All in One SEO hier .