L'une des questions que l'on nous pose le plus souvent est la différence entre la balise meta robots NOINDEX et le fichier robots.txt, et quand utiliser chacune d'elles. Cet article aborde cette question.
Dans cet article
La balise meta robots NOINDEX
La balise NOINDEX est utilisée pour empêcher le contenu d'apparaître dans les résultats de recherche. La balise meta NOINDEX apparaît dans le code source de votre contenu et indique à un moteur de recherche de ne pas inclure ce contenu dans les résultats de recherche.
La balise meta robots NOINDEX ressemble à ceci dans le code source de votre page :
<meta name="robots" content="noindex" />
Le fichier robots.txt
Le fichier robots.txt indique aux moteurs de recherche où leurs robots d'exploration peuvent et ne peuvent pas aller sur un site web. Il comprend des directives « Allow » et « Disallow » qui guident un moteur de recherche quant aux répertoires et fichiers qu'il doit ou ne doit pas explorer.
Cependant, cela n'empêche pas votre contenu d'être répertorié dans les résultats de recherche. De plus, si le répertoire ou le fichier bloqué est lié depuis une page de votre site web ou d'un autre site web, les moteurs de recherche peuvent toujours les explorer.
Un exemple d'utilisation du fichier robots.txt est d'indiquer aux moteurs de recherche de ne pas explorer le répertoire « /cgi-bin/ » qui peut exister sur votre serveur, car il n'y a rien dans ce répertoire qui soit utile aux moteurs de recherche.
Le fichier robots.txt par défaut pour WordPress ressemble à ceci :
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
La différence entre NOINDEX et robots.txt
La différence entre les deux est la suivante :
- Le fichier robots.txt est utilisé pour indiquer à un moteur de recherche quels répertoires et fichiers il doit explorer. Il n'empêche pas le contenu d'être indexé et répertorié dans les résultats de recherche.
- La balise meta robots NOINDEX indique aux moteurs de recherche de ne pas inclure le contenu dans les résultats de recherche et, si le contenu a déjà été indexé auparavant, ils doivent le supprimer entièrement. Elle n'empêche pas les moteurs de recherche d'explorer le contenu.
La plus grande différence à comprendre est que si vous voulez que les moteurs de recherche n'incluent pas le contenu dans les résultats de recherche, alors vous DEVEZ utiliser la balise NOINDEX et vous DEVEZ permettre aux moteurs de recherche d'explorer le contenu. Si les moteurs de recherche NE PEUVENT PAS explorer le contenu, alors ils NE PEUVENT PAS voir la balise meta NOINDEX et par conséquent NE PEUVENT PAS exclure le contenu des résultats de recherche.
Donc, si vous ne voulez pas qu'un contenu soit inclus dans les résultats de recherche, utilisez NOINDEX. Si vous voulez empêcher les moteurs de recherche d'explorer un répertoire sur votre serveur car il ne contient rien qu'ils aient besoin de voir, utilisez la directive « Disallow » dans votre fichier robots.txt.
Vous trouverez de la documentation sur l'utilisation de la fonctionnalité NOINDEX dans All in One SEO dans notre article sur Afficher ou masquer votre contenu dans les résultats de recherche ici.
Vous trouverez de la documentation sur l'utilisation de la fonctionnalité Robots.txt dans All in One SEO dans notre article sur Utilisation de l'outil Robots.txt dans All in One SEO ici.