La etiqueta X-Robots-Tag es una cabecera HTTP que se utiliza para comunicar instrucciones a los rastreadores web y a los bots de los motores de búsqueda sobre cómo deben gestionar la indexación y la presentación de una página web o recurso. Permite a los propietarios de sitios web controlar la indexación y la apariencia de sus páginas en los resultados de búsqueda página por página o recurso por recurso.
La cabecera X-Robots-Tag puede incluir una o varias directivas, separadas por comas. Algunas directivas comunes son:
- noindex: Indica a los motores de búsqueda que no indexen la página o el recurso.
- nofollow: Indica a los motores de búsqueda que no sigan los enlaces de la página.
- noarchive: Indica a los motores de búsqueda que no almacenen en caché ni muestren una versión en caché de la página.
- nosnippet: Indica a los motores de búsqueda que no muestren un fragmento o descripción de la página en los resultados de búsqueda.
- max-snippet:[número]: Especifica la longitud máxima de caracteres para los fragmentos en los resultados de búsqueda.
- max-image-preview:[configuración]: Especifica el tamaño máximo de las previsualizaciones de imágenes en los resultados de búsqueda (none, standard, large).
- max-video-preview:[número]: Especifica el número máximo de segundos para las previsualizaciones de vídeo en los resultados de búsqueda.
Ejemplo de uso de X-Robots-Tag:
X-Robots-Tag: noindex, nofollow, max-snippet:150, max-image-preview:standardEn este ejemplo, las directivas indican a los motores de búsqueda que no indexen la página, que no sigan sus enlaces, que limiten la longitud del fragmento a 150 caracteres y que muestren previsualizaciones de imágenes de tamaño estándar en los resultados de búsqueda.
La cabecera X-Robots-Tag proporciona un control más detallado sobre la indexación y la presentación que la etiqueta meta robots, que se coloca dentro de la sección HTML de una página.
Mientras que la etiqueta meta robots se limita a controlar la indexación y el seguimiento de enlaces, la cabecera X-Robots-Tag ofrece directivas adicionales para gestionar fragmentos, previsualizaciones y caché.
Utilizando la cabecera X-Robots-Tag, los propietarios de sitios web pueden ajustar con precisión cómo aparecen sus páginas en los resultados de búsqueda y controlar la información que los motores de búsqueda muestran a los usuarios. Esto puede ser útil para gestionar contenido duplicado, evitar la indexación de páginas sensibles o personalizar la apariencia de los listados de búsqueda para optimizar las tasas de clics y la participación del usuario.