L'intestazione X-Robots-Tag è un'intestazione HTTP utilizzata per comunicare istruzioni ai crawler e ai bot dei motori di ricerca riguardo a come devono gestire l'indicizzazione e la pubblicazione di una pagina web o di una risorsa. Consente ai proprietari di siti web di controllare l'indicizzazione e la visualizzazione delle loro pagine nei risultati di ricerca su base pagina per pagina o risorsa per risorsa.

L'intestazione X-Robots-Tag può includere una o più direttive, separate da virgole. Alcune direttive comuni sono:

  • noindex: Istruisce i motori di ricerca a non indicizzare la pagina o la risorsa.
  • nofollow: Istruisce i motori di ricerca a non seguire i link presenti nella pagina.
  • noarchive: Istruisce i motori di ricerca a non memorizzare nella cache o a visualizzare una versione memorizzata nella cache della pagina.
  • nosnippet: Istruisce i motori di ricerca a non visualizzare uno snippet o una descrizione della pagina nei risultati di ricerca.
  • max-snippet:[numero]: Specifica la lunghezza massima in caratteri per gli snippet nei risultati di ricerca.
  • max-image-preview:[impostazione]: Specifica la dimensione massima delle anteprime delle immagini nei risultati di ricerca (none, standard, large).
  • max-video-preview:[numero]: Specifica il numero massimo di secondi per le anteprime video nei risultati di ricerca.

Esempio di utilizzo di X-Robots-Tag:

X-Robots-Tag: noindex, nofollow, max-snippet:150, max-image-preview:standard

In questo esempio, le direttive istruiscono i motori di ricerca a non indicizzare la pagina, a non seguirne i link, a limitare la lunghezza dello snippet a 150 caratteri e a mostrare anteprime di immagini di dimensioni standard nei risultati di ricerca.

L'intestazione X-Robots-Tag fornisce un controllo più granulare sull'indicizzazione e sulla pubblicazione rispetto al tag meta robots, che è inserito all'interno della sezione HTML di una pagina.

Mentre il tag meta robots è limitato al controllo dell'indicizzazione e del follow dei link, l'intestazione X-Robots-Tag offre direttive aggiuntive per la gestione di snippet, anteprime e caching.

Utilizzando l'intestazione X-Robots-Tag, i proprietari di siti web possono ottimizzare la visualizzazione delle loro pagine nei risultati di ricerca e controllare le informazioni che i motori di ricerca mostrano agli utenti. Questo può essere utile per gestire contenuti duplicati, impedire l'indicizzazione di pagine sensibili o personalizzare l'aspetto delle schede di ricerca per ottimizzare i tassi di clic e il coinvolgimento degli utenti.