Comment utiliser le nettoyage des robots pour augmenter le quota d'exploration des moteurs de recherche

Lorsque Google (et d'autres moteurs de recherche) commencent à indexer votre site, il est courant qu'ils collectent de nombreuses URL indésirables provenant de vos flux RSS.

Google considère ces URL comme uniques et essaie de les indexer séparément. Bien que cela n'affecte pas votre classement (Google est suffisamment intelligent pour comprendre ces choses), cela consomme le quota d'exploration alloué à votre site et, par conséquent, pourrait retarder l'indexation.

Pour lutter contre cela, nous avons introduit une nouvelle fonctionnalité Nettoyage des robots dans nos paramètres Apparence de recherche avancée pour permettre à nos utilisateurs de régler précisément ce que Google peut collecter.

Tutoriel vidéo sur la désactivation des flux RSS

Découvrez notre vidéo sur la façon de désactiver les flux RSS dans WordPress ci-dessous :

Activation du nettoyage des robots

Pour activer les paramètres de Nettoyage des robots, cliquez sur Apparence de recherche dans le menu All in One SEO, puis cliquez sur l'onglet Avancé.

Faites défiler vers le bas de la page et activez le commutateur pour Nettoyage des robots.

Section Nettoyage de l'exploration dans l'onglet Avancé de l'apparence de la recherche

Une fois activé, vous aurez accès aux options de gestion de vos flux RSS dans l'onglet Flux RSS.

Paramètres des flux RSS

WordPress inclut de nombreux flux RSS sur votre site, y compris des flux qui ne sont pas du tout nécessaires. Si vous activez le Nettoyage des robots, nous désactivons automatiquement la plupart des flux, en conservant votre flux de site principal et quelques flux supplémentaires qui sont importants.

Flux RSS global

Le flux RSS global est la manière dont les utilisateurs s'abonnent à tout nouveau contenu créé sur votre site. Il est activé par défaut avec Nettoyage de l'exploration et nous ne recommandons PAS de le désactiver.

Paramètre global du flux RSS sous Nettoyage de l'exploration

Flux RSS des commentaires global

Le flux global des commentaires permet aux utilisateurs de s'abonner à tous les nouveaux commentaires ajoutés à votre site. Il est désactivé par défaut avec Nettoyage de l'exploration.

Paramètre global du flux RSS des commentaires sous Nettoyage de l'exploration

Flux de la page de publication statique

Si vous utilisez une page statique pour vos articles (par exemple, https://votresite.com/blog/), cette option apparaîtra. Elle est activée par défaut avec Nettoyage de l'exploration et nous ne recommandons PAS de la désactiver.

Paramètre du flux de pages d'articles statiques sous Nettoyage de l'exploration

Flux d'auteurs

Le flux des auteurs permet à vos utilisateurs de s'abonner à tout nouveau contenu rédigé par un auteur spécifique. Il est activé par défaut avec Nettoyage de l'exploration.

Paramètre des flux d'auteurs sous Nettoyage de l'exploration

Flux de commentaires de publication

Le flux des commentaires d'articles permet à vos utilisateurs de s'abonner à tous les nouveaux commentaires sur une page ou un article spécifique. Il est désactivé par défaut avec Nettoyage de l'exploration.

Paramètre des flux de commentaires d'articles sous Nettoyage de l'exploration

Flux de recherche

Le flux de recherche permet aux visiteurs de s'abonner à votre contenu en fonction d'un terme de recherche spécifique. Il est désactivé par défaut avec Nettoyage de l'exploration.

Paramètre du flux de recherche sous Nettoyage de l'exploration

Flux de pièces jointes

Le flux des pièces jointes permet aux utilisateurs de s'abonner à toutes les modifications apportées aux catégories de fichiers multimédias de votre site. Il est désactivé par défaut avec Nettoyage de l'exploration.

Paramètre du flux de pièces jointes sous Nettoyage de l'exploration

Flux RSS paginés

Les flux RSS paginés concernent tous les articles ou pages qui sont paginés. Ils sont désactivés par défaut avec Nettoyage de l'exploration.

Paramètre des flux RSS paginés sous Nettoyage de l'exploration

Flux d'archives de type de publication

Ceci contrôle quels flux d'archives de types d'articles sont activés. Aucun flux d'archives de types d'articles n'est activé par défaut avec Nettoyage de l'exploration.

Paramètre des flux d'archives de type de publication sous Nettoyage des robots

Flux de taxonomie

Ceci contrôle quels flux de taxonomie sont activés. Seul le flux des Catégories est activé par défaut avec Nettoyage de l'exploration.

Paramètre des flux de taxonomie sous Nettoyage des robots

Flux Atom

Ceci est un flux global de votre site qui est généré au format Atom. Il est désactivé par défaut avec Nettoyage de l'exploration.

Paramètre des flux Atom sous Nettoyage des robots

Flux RDF/RSS 1.0

Ceci est un flux global de votre site qui est généré au format RDF/RSS 1.0. Il est désactivé par défaut avec Nettoyage de l'exploration.

Paramètre des flux RDF/RSS 1.0 sous Nettoyage des robots

Paramètres des robots indésirables

Dans l'onglet Robots indésirables, vous pouvez contrôler quels robots sont bloqués de l'exploration de votre site.

Paramètres des robots indésirables dans All in One SEO

Vous pouvez sélectionner chacun des robots pour les bloquer, ou vous pouvez sélectionner Tous les robots d'IA pour bloquer tous ceux qui sont listés.

Paramètres de nettoyage de la recherche interne du site

Dans l'onglet Nettoyage de la recherche interne du site, vous pouvez contrôler les URL utilisées pour les pages de recherche de votre site. Cela peut aider à réduire l'exploration et à combattre les spammeurs SEO qui utilisent des attaques de spam connues.

Paramètres de nettoyage de la recherche interne du site dans All in One SEO

Filtrer les paramètres de recherche

Le premier paramètre est Filtrer la recherche, qui, lorsqu'il est activé, affichera les paramètres de filtrage des URL de recherche.

Paramètres de filtrage de la recherche dans All in One SEO

Les paramètres de Filtrer la recherche sont :

  • Nombre maximum de caractères – Ce paramètre limitera la longueur des requêtes de recherche internes du site pour réduire l'impact des attaques de spam et des URL confuses. Nous vous recommandons d'entrer un nombre compris entre 1 et 50 caractères. La valeur par défaut est de 50 caractères.
  • Emojis et autres caractères spéciaux – Ce paramètre bloquera les recherches internes du site qui contiennent des caractères complexes et non alphanumériques tels que les emojis.
  • Modèles de spam courants – Ce paramètre bloquera les recherches internes du site qui correspondent aux modèles d'attaques de spam connues.

Paramètre de redirection des URL "Pretty" vers "RAW"

Le paramètre suivant Filtrer la recherche est Rediriger les URL "Pretty" vers "RAW". Cela redirigera les URL de recherche "pretty" telles que /search/ vers le défaut de WordPress /?s=. Cela peut consolider les URL de recherche et réduire l'exploration de ces URL.

Bloquer l'exploration des URL de recherche interne du site

Le dernier paramètre est Bloquer l'exploration des URL de recherche internes du site. Cela ajoutera une règle Disallow au fichier robots.txt créé par WordPress pour empêcher l'exploration des URL des pages de recherche. Cela réduit l'exploration inutile de votre site.