Robots-Meta-Tags sind HTML-Elemente, die Webcrawlern (wie Suchmaschinen-Bots) Anweisungen geben, wie die Indexierung und das Crawling einer Webseite oder Website gehandhabt werden sollen. Diese Tags werden im <head>-Bereich eines HTML-Dokuments platziert und helfen, das Verhalten von Webrobotern zu steuern.
Hier sind einige gängige Robots-Meta-Tags mit Beispielen:
- robots=„noindex“: Weist Suchmaschinen an, die Seite nicht zu indexieren.
Beispiel:<meta name="robots" content="noindex"> - robots=„nofollow“: Weist Suchmaschinen an, Links auf der Seite nicht zu folgen.
Beispiel:<meta name="robots" content="nofollow"> - robots=„noarchive“: Weist Suchmaschinen an, die Seite nicht zu cachen oder zu archivieren.
Beispiel:<meta name="robots" content="noarchive"> - robots=„nosnippet“: Weist Suchmaschinen an, keinen Snippet oder keine Beschreibung für die Seite in den Suchergebnissen anzuzeigen.
Beispiel:<meta name="robots" content="nosnippet"> - robots=„all“: Weist Suchmaschinen an, alle Links auf der Seite zu indexieren und zu folgen (Standardverhalten).
Beispiel:<meta name="robots" content="all"> - robots=„none“: Weist Suchmaschinen an, die Seite nicht zu indexieren, Links nicht zu folgen und sie nicht zu cachen.
Beispiel:<meta name="robots" content="none">
Diese Tags können durch Kommas getrennt kombiniert werden. Zum Beispiel:<meta name="robots" content="noindex, nofollow">
Robots-Meta-Tags sind nützlich, um zu steuern, wie Suchmaschinen mit bestimmten Seiten oder Abschnitten einer Website interagieren, und ermöglichen es Webmastern, die Sichtbarkeit und das Crawling-Verhalten ihrer Website zu optimieren.
Verwandt: