SEO Glossary /

X-Robots-Tag

Der X-Robots-Tag ist ein HTTP-Header, der verwendet wird, um Webcrawlern und Suchmaschinen-Bots Anweisungen zu übermitteln, wie sie die Indizierung und Bereitstellung einer Webseite oder Ressource handhaben sollen. Er ermöglicht Website-Betreibern, die Indizierung und Darstellung ihrer Seiten in den Suchergebnissen seiten- oder ressourcenweise zu steuern.

Der X-Robots-Tag-Header kann eine oder mehrere durch Kommas getrennte Direktiven enthalten. Einige gängige Direktiven sind:

  • noindex: Weist Suchmaschinen an, die Seite oder Ressource nicht zu indizieren.
  • nofollow: Weist Suchmaschinen an, den Links auf der Seite nicht zu folgen.
  • noarchive: Weist Suchmaschinen an, keine zwischengespeicherte Version der Seite zu cachen oder anzuzeigen.
  • nosnippet: Weist Suchmaschinen an, keinen Snippet oder keine Beschreibung der Seite in den Suchergebnissen anzuzeigen.
  • max-snippet:[number]: Gibt die maximale Zeichenlänge für Snippets in den Suchergebnissen an.
  • max-image-preview:[setting]: Gibt die maximale Größe von Bildvorschau in den Suchergebnissen an (none, standard, large).
  • max-video-preview:[number]: Gibt die maximale Anzahl von Sekunden für Videovorschauen in den Suchergebnissen an.

Beispiel für die Verwendung von X-Robots-Tag:

X-Robots-Tag: noindex, nofollow, max-snippet:150, max-image-preview:standard

In diesem Beispiel weisen die Direktiven Suchmaschinen an, die Seite nicht zu indizieren, ihren Links nicht zu folgen, die Snippet-Länge auf 150 Zeichen zu begrenzen und Bildvorschau in Standardgröße in den Suchergebnissen anzuzeigen.

Der X-Robots-Tag-Header bietet eine feinere Steuerung der Indizierung und Bereitstellung als das Robots-Meta-Tag, das sich im HTML-Abschnitt einer Seite befindet.

Während das Robots-Meta-Tag auf die Steuerung der Indizierung und des Link-Followings beschränkt ist, bietet der X-Robots-Tag-Header zusätzliche Direktiven für die Verwaltung von Snippets, Vorschauen und Caching.

Mithilfe des X-Robots-Tag-Headers können Website-Betreiber feinabstimmen, wie ihre Seiten in den Suchergebnissen erscheinen, und die Informationen steuern, die Suchmaschinen den Nutzern anzeigen. Dies kann nützlich sein, um doppelte Inhalte zu verwalten, die Indizierung sensibler Seiten zu verhindern oder die Darstellung von Suchergebnissen anzupassen, um Klickraten und Nutzerengagement zu optimieren.