Vous souhaitez savoir comment modifier les fichiers robots.txt dans WordPress ?
L'édition des fichiers robots.txt dans WordPress m'intimidait auparavant. Ayant construit et géré plus d'une douzaine de sites WordPress, je me souviens d'avoir fixé mon écran, inquiet à l'idée qu'une mauvaise manipulation puisse nuire au référencement de mon site.
Le fichier robots.txt peut sembler effrayant, mais il s'agit en fait d'un simple fichier texte qui indique aux moteurs de recherche les parties de votre site auxquelles ils peuvent ou ne peuvent pas accéder. Après des années de travail avec WordPress, j'ai appris que l'édition de ce fichier ne doit pas être compliquée du tout.
Dans ce guide étape par étape, je vous montrerai les moyens les plus simples et les plus sûrs pour éditer votre fichier robots.txt dans WordPress. Que vous souhaitiez bloquer certaines pages des moteurs de recherche ou corriger des problèmes de référencement, vous apprendrez exactement ce qu'il faut faire.
Ne vous inquiétez pas, je vous guiderai à chaque étape pour que vous ne cassiez rien.
Dans cet article
Qu'est-ce qu'un fichier Robots.txt ?
Un fichier robots.txt indique aux moteurs de recherche comment explorer votre site - où ils sont autorisés à aller ou non.
Les moteurs de recherche comme Google utilisent ces robots d'indexation, parfois appelés robots web, pour archiver et classer les sites web.
La plupart des robots sont configurés pour rechercher un fichier robots.txt sur le serveur avant de lire tout autre fichier de votre site. Ils le font pour voir si vous avez ajouté des instructions spéciales sur la manière d'explorer et d'indexer votre site.
Le fichier robots.txt est généralement stocké dans le répertoire racine, également connu sous le nom de dossier principal de votre site web.
L'URL peut ressembler à ceci :
http://www.example.com/robots.txt
Pour vérifier le fichier robots.txt de votre site web, il vous suffit de remplacer http://www.example.com/ par votre domaine et d'ajouter robots.txt à la fin.
Voyons maintenant à quoi ressemble le format de base d'un fichier robots.txt :
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
L'agent utilisateur fait référence au robot du moteur de recherche que vous souhaitez bloquer ou autoriser à explorer votre site (par exemple, le robot Googlebot).
Lorsque vous modifiez votre fichier robots.txt, vous pouvez inclure plusieurs instructions pour autoriser ou interdire des URL spécifiques, et ajouter plusieurs sitemaps. Vous pouvez également exclure des paramètres d'URL à l'aide de la directive Clean-param et définir la fréquence des visites des robots de recherche à l'aide de la directive Crawl-delay.
Fichier Robots.txt par défaut dans WordPress
Par défaut, WordPress crée automatiquement un fichier robots.txt pour votre site. Ainsi, même si vous ne levez pas le petit doigt, votre site devrait déjà avoir le fichier robots.txt par défaut de WordPress.
Mais lorsque vous le personnalisez par la suite avec vos propres règles, le contenu par défaut est remplacé.
Voici à quoi ressemble le fichier robots.txt par défaut de WordPress :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
L'astérisque après User-agent : * signifie que le fichier robots.txt est destiné à tous les robots qui visitent votre site. Comme nous l'avons mentionné, l'option Disallow : /wp-admin/ indique aux robots de ne pas visiter votre page wp-admin.
Vous pouvez tester votre fichier robots.txt en ajoutant /robots.txt à la fin de votre nom de domaine. Par exemple, si vous entrez "https://aioseo.com/robots.txt" dans votre navigateur web, il affichera le fichier robots.txt pour AIOSEO:
Maintenant que vous savez ce qu'est un fichier robots.txt et comment il fonctionne, voyons pourquoi le fichier robots.txt est important.
Pourquoi le fichier Robots.txt est-il important ?
Le fichier robots.txt est important si vous voulez :
- Optimisez la vitesse de chargement de votre site - en demandant aux robots de ne pas perdre de temps sur les pages que vous ne souhaitez pas qu'ils explorent et indexent, vous pouvez libérer des ressources et augmenter la vitesse de chargement de votre site.
- Optimisation de l'utilisation de votre serveur - le blocage des robots qui gaspillent des ressources permet de nettoyer votre serveur et de réduire le nombre d'erreurs 404.
Quand utiliser la balise Meta Noindex au lieu de Robots.txt ?
Si votre objectif principal est d'empêcher certaines pages d'être incluses dans les résultats des moteurs de recherche, l'utilisation d'une balise méta noindex est la bonne approche.
En effet, le fichier robots.txt n'indique pas directement aux moteurs de recherche de ne pas indexer le contenu - il leur indique simplement de ne pas l'explorer.
En d'autres termes, vous pouvez utiliser robots.txt pour ajouter des règles spécifiques sur la manière dont les moteurs de recherche et autres robots interagissent avec votre site, mais il ne contrôlera pas explicitement si votre contenu est indexé ou non.
Ceci étant dit, nous allons vous montrer comment éditer facilement votre fichier robots.txt dans WordPress, étape par étape, en utilisant AIOSEO.
Modifier votre Robots.txt sur WordPress avec AIOSEO
La façon la plus simple de modifier le fichier robots.txt est d'utiliser le meilleur plugin WordPress SEO, All in One SEO (AIOSEO).
AIOSEO est un plugin SEO puissant et facile à utiliser qui compte plus de 3 millions d'utilisateurs. Cela signifie que des millions de blogueurs intelligents utilisent AIOSEO pour les aider à améliorer leur classement dans les moteurs de recherche et à générer un trafic qualifié vers leurs blogs. En effet, le plugin possède de nombreuses fonctionnalités et modules puissants conçus pour vous aider à configurer correctement vos paramètres de référencement. En voici quelques exemples :
- Statistiques de recherche : Cette puissante intégration de Google Search Console vous permet de suivre le classement de vos mots clés et de voir les indicateurs SEO importants en 1 clic, et plus encore.
- Générateur de schéma de nouvelle génération: Ce générateur de schéma sans code permet aux utilisateurs de générer et d'éditer n'importe quel balisage de schéma sur votre site.
- Gestionnaire de redirections: Il vous aide à gérer les redirections et à éliminer les erreurs 404, ce qui facilite l'exploration et l'indexation de votre site par les moteurs de recherche.
- Link Assistant: puissant outil de création de liens internes qui automatise la construction de liens entre les pages de votre site. Il permet également d'effectuer un audit des liens sortants.
- Aperçu SEO: Il vous donne un aperçu de vos snippets de recherche et sociaux et de votre référencement général afin que vous puissiez améliorer votre optimisation.
- IndexNow : Pour une indexation rapide sur les moteurs de recherche qui supportent le protocole IndexNow (comme Bing et Yandex).
- Générateur de sitemaps: Génère automatiquement différents types de sitemaps pour informer tous les moteurs de recherche de toute mise à jour de votre site.
- Et plus encore.
L'une des raisons pour lesquelles les utilisateurs apprécient ce plugin est qu'il vous permet de mieux contrôler la manière dont les moteurs de recherche explorent votre site. Cela est dû à l'éditeur robots.txt avancé qui vous permet de configurer facilement votre fichier robots.txt, ce qui vous permet de remplacer le fichier WordPress par défaut.
Consultez notre liste des meilleurs générateurs de robots.txt.
Consultez notre liste des meilleurs générateurs de robots.txt.
Commençons donc par modifier votre fichier robots.txt.
Pour modifier votre fichier Robots.txt, activez d'abord le fichier Robots.txt personnalisé.
Pour éditer votre fichier robots.txt, cliquez sur Outils dans le menu All in One SEO, puis sur l'onglet Editeur Robots.txt.
AIOSEO génère alors un fichier robots.txt dynamique. Son contenu est stocké dans votre base de données WordPress et peut être consulté dans votre navigateur web, comme nous le verrons dans un instant.
Une fois que vous avez accédé à l'éditeur Robots.txt, vous devez activer le fichier Robots.txt personnalisé.
Cliquez sur le bouton pour qu'il devienne bleu.
Vous verrez alors la section Robots.txt Preview en bas de l'écran, qui montre les règles par défaut de WordPress que vous pouvez remplacer par les vôtres. Les règles par défaut indiquent aux robots de ne pas explorer les fichiers principaux de WordPress (pages d'administration).
Passons maintenant à l'ajout de vos propres règles. Vous pouvez le faire de deux manières : en utilisant le générateur de règles ou en important un fichier robots.txt d'un autre site.
Méthode 1 : Ajouter des règles à l'aide du générateur de règles
Le générateur de règles est utilisé pour ajouter vos propres règles personnalisées concernant les pages que les robots doivent explorer ou non.
Par exemple, vous pouvez utiliser le générateur de règles si vous souhaitez ajouter une règle qui bloque tous les robots à partir d'un répertoire temporaire.
Pour ajouter une règle personnalisée, saisissez l'agent utilisateur (par exemple, le robot Googlebot) dans le champ Agent utilisateur. Vous pouvez également utiliser le symbole * pour appliquer votre règle à tous les agents utilisateurs (robots).
Ensuite, sélectionnez l'une des directives robots.txt prédéfinies : Allow, Disallow, Clean-param ou Crawl-delay.
Vous pouvez également ajouter d'autres directives en cliquant sur le bouton Ajouter une règle.
Après avoir choisi la directive à appliquer, vous devez saisir le chemin d'accès au répertoire ou le nom du fichier dans le champ Valeur.
Une fois cette opération effectuée, vous pouvez cliquer sur le bouton Enregistrer les modifications dans le coin inférieur droit de la page.
Lorsque vous avez enregistré vos nouvelles règles, elles apparaissent dans la section Aperçu de Robots.txt.
Pour afficher votre fichier robots.txt, cliquez sur le bouton Ouvrir Robots.txt.
Cela vous mènera à l'URL où votre fichier robots.txt est hébergé.
Méthode 2 : Importer des règles d'un autre site
Une autre façon simple d'ajouter des directives dans votre fichier robots.txt consiste à les importer à partir d'un autre site. Cette fonction est pratique si vous avez créé un site ou si vous en connaissez un avec un fichier robots.txt que vous souhaitez reproduire.
Pour importer un fichier robots.txt d'un autre site, allez dans le menu AIOSEO, puis Outils " Robots.txt " Activer les Robots.txt personnalisés.
Cliquez ensuite sur l'option Importer.
Cela ouvrira une fenêtre dans laquelle vous pourrez coller l'URL du site dont vous voulez extraire le fichier robots.txt.
Cliquez sur Importer, et vous serez invité à recharger votre site. Rechargez votre site et le plugin récupérera le fichier robots.txt et l'implémentera sur votre site.
Vous pouvez également copier le fichier robots.txt de votre site cible et le coller dans l'espace prévu à cet effet. Cliquez à nouveau sur Importer, et le fichier robots.txt sera ajouté à votre site.
C'est probablement la façon la plus simple d'ajouter un fichier robots.txt personnalisé à votre site WordPress.
Modification des règles Robots.txt à l'aide du générateur de règles
Pour modifier vos règles robots.txt, vous pouvez changer les détails dans le générateur de règles.
Vous pouvez également supprimer une règle dans le fichier robots.txt en cliquant sur l'icône de la corbeille à droite de la règle.
Et ce n'est pas tout ! L'éditeur de robots.txt d'AIOSEO vous permet de déplacer les règles vers le haut ou vers le bas pour les placer par ordre de priorité. Pour ce faire, cliquez sur les 6 points situés à côté de la corbeille et maintenez-les enfoncés pour faire glisser et repositionner une règle.
Une fois que vous avez fini de modifier votre fichier robots.txt, cliquez sur le bouton Enregistrer les modifications pour enregistrer vos nouvelles règles.
Fonctions d'édition de Robots.txt en prime
Bloquer les robots indésirables ou les robots d'indexation [méthode simple]
Les robots d'indexation, également appelés "bots" ou "spiders", sont une arme à double tranchant. Nombre d'entre eux, comme les moteurs de recherche, sont nécessaires au succès de votre site. Cependant, d'autres aspirent les ressources de votre serveur, ralentissent votre site, voire volent votre contenu.
Comment est-ce que je fais habituellement face à cette situation ?
Parce que je n'ai pas de formation technique, je cherche toujours la facilité 😜. La façon la plus simple d'empêcher les robots indésirables d'explorer votre site est d'utiliser la fonction Crawl Cleanup d'AIOSEO. Celle-ci est livrée avec des paramètres qui vous aident à gérer le trafic des bots sur votre site.
Cette fonction vous permet de sélectionner les robots que vous souhaitez empêcher d'explorer votre site. Il vous suffit de sélectionner ceux que vous souhaitez bloquer.
Lorsque vous bloquez un robot indésirable, AIOSEO édite le fichier robots.txt avec les directives disallow. Cette fonctionnalité est également intégrée dans l'éditeur de robots.txt pour faciliter cette opération.
Blocage des recherches sur les sites internes
Les sites web génèrent souvent des URLs inutiles à partir de recherches internes, ce qui entraîne un gaspillage des budgets de crawl et des spams potentiels. Encore une fois, ce problème peut être facilement résolu en utilisant le Crawl Cleanup d'AIOSEO. Tout ce que vous avez à faire, c'est de configurer les filtres à l'aide de bascules.
AIOSEO vous permet de contrôler la façon dont les moteurs de recherche et autres robots interagissent avec les URL créées par les recherches internes au site. Vous pouvez :
- Fixer une limite maximale de caractères pour les requêtes de recherche, afin d'éviter les URL de recherche surchargées.
- Filtrez automatiquement les emojis et les caractères spéciaux afin d'éviter les termes de recherche encombrants ou absurdes.
- Bloquer les modèles de spam les plus courants, en empêchant les recherches indésirables de créer des URL indexables inutiles.
A nouveau, AIOSEO édite votre fichier robots.txt dans le backend. Vous pouvez également configurer ces paramètres dans votre éditeur de robots.txt :
C'est aussi simple que cela !
Vous avez modifié votre fichier robots.txt.
Modification des fichiers Robots.txt : Les réponses à vos questions les plus fréquentes
Qu'est-ce qu'un fichier robots.txt ?
Un fichier robots.txt est un fichier texte que les propriétaires de sites web utilisent pour communiquer aux robots d'exploration ou aux robots les parties de leur site qui doivent être explorées et indexées par les moteurs de recherche.
Où se trouve le fichier robots.txt ?
Le fichier robots.txt se trouve généralement dans le répertoire racine d'un site web. Son URL est généralement https://www.example.com/robots.txt.
Quelle est la meilleure façon de modifier les fichiers robots.txt ?
La meilleure façon d'éditer votre fichier robots.txt est d'utiliser un plugin comme All In One SEO (AIOSEO). C'est le meilleur plugin WordPress SEO et il dispose d'un éditeur robots.txt avancé qui rend l'optimisation des fichiers robots.txt très facile.
Nous espérons que ce tutoriel vous a montré comment éditer facilement un fichier robots.txt dans WordPress. Vous pouvez également consulter d'autres articles de notre blog, comme nos conseils pour être indexé sur Google ou notre guide sur l'utilisation des statistiques de recherche pour améliorer votre classement.
Si cet article vous a été utile, veuillez vous abonner à notre chaîne YouTube. Vous y trouverez de nombreux autres tutoriels utiles. Vous pouvez également nous suivre sur X (Twitter), LinkedIn ou Facebook pour rester informé.
Vous voulez essayer AIOSEO gratuitement ?
Entrez l'URL de votre site WordPress pour installer AIOSEO Lite.
Divulgation : Notre contenu est soutenu par les lecteurs. Cela signifie que si vous cliquez sur certains de nos liens, il se peut que nous recevions une commission. Nous ne recommandons que des produits dont nous pensons qu'ils apporteront une valeur ajoutée à nos lecteurs.
Bonjour, merci pour cet article.
J'ai lu récemment votre article sur la dégradation du contenu. L'un de nos problèmes est la vitesse des pages et j'ai travaillé sur la réduction du temps de chargement. Cependant, je ne suis pas un pro du codage ou de tout ce qui est lié de près ou de loin à la technologie. Je m'occupe généralement du marketing et de la conception.
Dans ce contexte, ma question est la suivante : lorsque je télécharge des images et que je rédige leurs légendes et leurs balises alt, je veux qu'elles apparaissent dans les résultats de recherche d'images, mais je ne veux pas provoquer un gonflement de l'index.
Y a-t-il des tactiques que vous me recommandez d'utiliser pour éviter cela ? J'ai déjà désactivé le sitemap images (pas plus tard qu'aujourd'hui), après avoir lu que ce n'était pas nécessaire et que cela ne supprimerait pas mes images actuelles du site.
Cela m'amène également à poser une deuxième question : comment savoir (en tant que personne qui ne sait pas lire le html, les js ou quoi que ce soit de ce genre) si la désactivation du sitemap des images a été efficace pour améliorer la vitesse de chargement ? Merci pour votre aide !