La balise X-Robots-Tag est un en-tête HTTP utilisé pour communiquer des instructions aux robots d'exploration et aux robots des moteurs de recherche concernant la manière dont ils doivent gérer l'indexation et la diffusion d'une page Web ou d'une ressource. Elle permet aux propriétaires de sites Web de contrôler l'indexation et l'apparence de leurs pages dans les résultats de recherche, page par page ou ressource par ressource.
L'en-tête X-Robots-Tag peut inclure une ou plusieurs directives, séparées par des virgules. Voici quelques directives courantes :
- noindex : demande aux moteurs de recherche de ne pas indexer la page ou la ressource.
- nofollow : demande aux moteurs de recherche de ne pas suivre les liens de la page.
- noarchive : demande aux moteurs de recherche de ne pas mettre en cache ou d'afficher une version mise en cache de la page.
- nosnippet : demande aux moteurs de recherche de ne pas afficher d'extrait ou de description de la page dans les résultats de recherche.
- max-snippet :[nombre] : spécifie la longueur maximale en caractères des extraits dans les résultats de recherche.
- max-image-preview :[paramètre] : spécifie la taille maximale des aperçus d'images dans les résultats de recherche (none, standard, large).
- max-video-preview :[nombre] : spécifie la durée maximale en secondes des aperçus vidéo dans les résultats de recherche.
Exemple d'utilisation de X-Robots-Tag :
X-Robots-Tag: noindex, nofollow, max-snippet:150, max-image-preview:standardDans cet exemple, les directives demandent aux moteurs de recherche de ne pas indexer la page, de ne pas suivre ses liens, de limiter la longueur de l'extrait à 150 caractères et d'afficher des aperçus d'images de taille standard dans les résultats de recherche.
L'en-tête X-Robots-Tag offre un contrôle plus granulaire sur l'indexation et la diffusion que la balise meta robots, qui est placée dans la section HTML d'une page.
Alors que la balise meta robots se limite au contrôle de l'indexation et du suivi des liens, l'en-tête X-Robots-Tag propose des directives supplémentaires pour gérer les extraits, les aperçus et la mise en cache.
En utilisant l'en-tête X-Robots-Tag, les propriétaires de sites Web peuvent affiner la manière dont leurs pages apparaissent dans les résultats de recherche et contrôler les informations que les moteurs de recherche affichent aux utilisateurs. Cela peut être utile pour gérer le contenu dupliqué, empêcher l'indexation de pages sensibles ou personnaliser l'apparence des listes de recherche afin d'optimiser les taux de clics et l'engagement des utilisateurs.