Eine der am häufigsten gestellten Fragen ist, was der Unterschied zwischen dem NOINDEX Robots-Meta-Tag und der robots.txt ist und wann jeder verwendet werden sollte. Dieser Artikel beantwortet diese Frage.
In diesem Artikel
Der NOINDEX Robots-Meta-Tag
Der NOINDEX-Tag wird verwendet, um zu verhindern, dass Inhalte in Suchergebnissen angezeigt werden. Der NOINDEX-Meta-Tag erscheint im Quellcode Ihres Inhalts und weist eine Suchmaschine an, diesen Inhalt nicht in die Suchergebnisse aufzunehmen.
Der NOINDEX Robots-Meta-Tag sieht im Quellcode Ihrer Seite wie folgt aus:
<meta name="robots" content="noindex" />
Die robots.txt-Datei
Die robots.txt-Datei teilt Suchmaschinen mit, wohin ihre Crawler auf einer Website gehen dürfen und wohin nicht. Sie enthält „Allow“- und „Disallow“-Direktiven, die einer Suchmaschine mitteilen, welche Verzeichnisse und Dateien sie crawlen soll oder nicht.
Sie verhindert jedoch nicht, dass Ihre Inhalte in den Suchergebnissen aufgeführt werden. Wenn das blockierte Verzeichnis oder die blockierte Datei von einer Seite auf Ihrer Website oder einer anderen Website verlinkt ist, können Suchmaschinen sie trotzdem crawlen.
Ein Beispiel für die Verwendung der robots.txt-Datei ist die Anweisung an Suchmaschinen, das Verzeichnis „/cgi-bin/“, das auf Ihrem Server vorhanden sein kann, nicht zu crawlen, da sich in diesem Verzeichnis nichts befindet, was für Suchmaschinen nützlich ist.
Die Standard-robots.txt für WordPress sieht wie folgt aus:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Der Unterschied zwischen NOINDEX und robots.txt
Der Unterschied zwischen den beiden ist wie folgt:
- Die robots.txt-Datei wird verwendet, um einer Suchmaschine mitzuteilen, welche Verzeichnisse und Dateien sie crawlen soll. Sie verhindert nicht, dass Inhalte indexiert und in Suchergebnissen aufgeführt werden.
- Der NOINDEX Robots-Meta-Tag weist Suchmaschinen an, Inhalte nicht in Suchergebnisse aufzunehmen und, falls die Inhalte bereits zuvor indexiert wurden, diese vollständig zu entfernen. Er hindert Suchmaschinen nicht am Crawlen von Inhalten.
Der wichtigste Unterschied, den Sie verstehen müssen, ist: Wenn Sie möchten, dass Suchmaschinen Inhalte nicht in Suchergebnissen anzeigen, MÜSSEN Sie den NOINDEX-Tag verwenden und MÜSSEN Sie Suchmaschinen erlauben, die Inhalte zu crawlen. Wenn Suchmaschinen die Inhalte NICHT crawlen können, können sie den NOINDEX-Meta-Tag NICHT sehen und daher die Inhalte NICHT von den Suchergebnissen ausschließen.
Wenn Sie also möchten, dass Inhalte nicht in Suchergebnissen angezeigt werden, verwenden Sie NOINDEX. Wenn Sie verhindern möchten, dass Suchmaschinen ein Verzeichnis auf Ihrem Server crawlen, da es nichts enthält, was sie sehen müssen, verwenden Sie die Direktive „Disallow“ in Ihrer robots.txt-Datei.
Dokumentation zur Verwendung der NOINDEX-Funktion in All in One SEO finden Sie in unserem Artikel Hier Inhalte in Suchergebnissen anzeigen oder ausblenden.
Dokumentation zur Verwendung der Robots.txt-Funktion in All in One SEO finden Sie in unserem Artikel Hier das Robots.txt-Tool in All in One SEO verwenden.