Volete sapere come modificare i file robots.txt in WordPress?
Un tempo ero intimorito dalla modifica dei file robots.txt in WordPress. Come persona che ha costruito e gestito più di una dozzina di siti WordPress, ricordo che fissavo il mio schermo, preoccupato che una mossa sbagliata potesse rovinare la SEO del mio sito.
Il file robots.txt può sembrare spaventoso, ma in realtà è un semplice file di testo che indica ai motori di ricerca a quali parti del vostro sito possono o non possono accedere. Dopo anni di lavoro con WordPress, ho imparato che la modifica di questo file non deve essere affatto complicata.
In questa guida passo passo, vi mostrerò i modi più semplici e sicuri per modificare il file robots.txt in WordPress. Sia che vogliate bloccare alcune pagine dai motori di ricerca o risolvere problemi SEO, imparerete esattamente cosa fare.
Non preoccupatevi: vi guiderà in ogni fase, in modo da non rompere nulla.
In questo articolo
Che cos'è un file Robots.txt?
Un file robots.txt indica ai motori di ricerca come effettuare il crawling del vostro sito e dove sono autorizzati ad andare o meno.
I motori di ricerca come Google utilizzano questi web crawler, talvolta chiamati web robot, per archiviare e classificare i siti web.
La maggior parte dei bot è configurata per cercare un file robots.txt sul server prima di leggere qualsiasi altro file dal vostro sito. Lo fa per vedere se avete aggiunto istruzioni speciali su come effettuare il crawling e l'indicizzazione del vostro sito.
Il file robots.txt viene solitamente memorizzato nella directory principale, nota anche come cartella principale del sito web.
L'URL può avere il seguente aspetto:
http://www.example.com/robots.txt
Per controllare il file robots.txt del vostro sito web, basta sostituire http://www.example.com/ con il vostro dominio e aggiungere robots.txt alla fine.
Vediamo ora il formato di base di un file robots.txt:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
L'agente utente si riferisce al bot o al robot del motore di ricerca che si desidera bloccare o consentire la scansione del sito (ad esempio, il crawler Googlebot ).
Quando si modifica il file robots.txt, è possibile includere istruzioni multiple per consentire o non consentire URL specifici e aggiungere sitemap multiple. È inoltre possibile escludere i parametri degli URL utilizzando la direttiva Clean-param e impostare la frequenza delle visite dei bot di ricerca utilizzando la direttiva Crawl-delay.
File Robots.txt predefinito in WordPress
Per impostazione predefinita, WordPress crea automaticamente un file robots.txt per il vostro sito. Quindi, anche se non muovete un dito, il vostro sito dovrebbe già avere il file robots.txt predefinito di WordPress.
Ma quando in seguito lo si personalizza con le proprie regole, il contenuto predefinito viene sostituito.
Ecco come si presenta il file robots.txt predefinito di WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
L'asterisco dopo User-agent: * significa che il file robots.txt è destinato a tutti i robot web che visitano il sito. Come già detto, il parametro Disallow: /wp-admin/ indica ai robot di non visitare la pagina wp-admin.
È possibile verificare il file robots.txt aggiungendo /robots.txt alla fine del nome del dominio. Ad esempio, se si digita "https://aioseo.com/robots.txt" nel browser web, viene visualizzato il file robots.txt di AIOSEO:
Ora che sapete cos'è e come funziona un file robots.txt, vediamo perché il file robots.txt è importante.
Perché il file Robots.txt è importante?
Il file robots.txt è importante se si vuole:
- Ottimizzare la velocità di caricamento del sito - indicando ai bot di non perdere tempo sulle pagine che non volete che vengano scansionate e indicizzate, potete liberare risorse e aumentare la velocità di caricamento del sito.
- Ottimizzazione dell'uso del server: bloccando i bot che sprecano risorse, si ripulisce il server e si riducono gli errori 404.
Quando utilizzare il tag Meta Noindex invece di Robots.txt
Se l'obiettivo principale è impedire che alcune pagine vengano incluse nei risultati dei motori di ricerca, l'utilizzo di un meta tag noindex è l'approccio corretto.
Questo perché il robots.txt non dice direttamente ai motori di ricerca di non indicizzare i contenuti, ma dice loro solo di non scansionarli.
In altre parole, è possibile utilizzare il robots.txt per aggiungere regole specifiche sul modo in cui i motori di ricerca e altri bot interagiscono con il sito, ma non controllerà esplicitamente se il contenuto viene indicizzato o meno.
Detto questo, vi mostriamo come modificare facilmente il file robots.txt in WordPress, passo dopo passo, utilizzando AIOSEO.
Modifica del file Robots.txt in WordPress con AIOSEO
Il modo più semplice per modificare il file robots.txt è utilizzare il miglior plugin SEO per WordPress, All in One SEO (AIOSEO).
AIOSEO è un plugin SEO potente ma facile da usare che vanta oltre 3 milioni di utenti. Ciò significa che milioni di blogger intelligenti utilizzano AIOSEO per incrementare il loro posizionamento nei motori di ricerca e portare traffico qualificato ai loro blog. Questo perché il plugin dispone di molte potenti funzioni e moduli progettati per aiutarvi a configurare correttamente le vostre impostazioni SEO. Alcuni esempi sono:
- Statistiche di ricerca: Questa potente integrazione con Google Search Console consente di monitorare il posizionamento delle parole chiave e di visualizzare importanti metriche SEO con un solo clic.
- Generatore di schemi di nuova generazione: Questo generatore di schemi senza codice consente agli utenti di generare e produrre qualsiasi markup di schema sul proprio sito.
- Gestione dei reindirizzamenti: Aiuta a gestire i reindirizzamenti e a eliminare gli errori 404, facilitando la scansione e l'indicizzazione del sito da parte dei motori di ricerca.
- Link Assistant: potente strumento di linking interno che automatizza la creazione di link tra le pagine del vostro sito. Fornisce inoltre una verifica dei link in uscita.
- Anteprima SEO: Fornisce una panoramica degli snippet di ricerca e sociali e della SEO in generale, in modo da poter migliorare l'ottimizzazione.
- IndexNow: Per un'indicizzazione rapida sui motori di ricerca che supportano il protocollo IndexNow (come Bing e Yandex).
- Generatore di Sitemap: Genera automaticamente diversi tipi di sitemap per notificare a tutti i motori di ricerca gli aggiornamenti del vostro sito.
- E altro ancora.
Uno dei motivi per cui gli utenti amano questo plugin è che offre un maggiore controllo sulle modalità di scansione del sito da parte dei motori di ricerca. Questo grazie all'avanzato editor robots.txt che consente di configurare facilmente il file robots.txt, permettendo di sovrascrivere il file predefinito di WordPress.
Consultate il nostro elenco dei migliori generatori di robots.txt.
Consultate il nostro elenco dei migliori generatori di robots.txt.
Passiamo quindi alla modifica del file robots.txt.
Per modificare il file Robots.txt, attivare prima il Robots.txt personalizzato
Per modificare il file robots.txt, fare clic su Strumenti nel menu All in One SEO, quindi sulla scheda Robots.txt Editor.
AIOSEO genererà quindi un file robots.txt dinamico. Il suo contenuto viene memorizzato nel database di WordPress e può essere visualizzato nel browser web, come vi mostreremo tra poco.
Una volta entrati nell'editor Robots.txt, è necessario abilitare il Robots.txt personalizzato.
Fare clic sul pulsante in modo che diventi blu.
Nella parte inferiore della schermata viene visualizzata la sezione Anteprima Robots.txt, che mostra le regole predefinite di WordPress che possono essere sovrascritte con le proprie. Le regole predefinite indicano ai robot di non effettuare il crawling dei file principali di WordPress (pagine di amministrazione).
Passiamo ora all'aggiunta delle proprie regole. È possibile farlo in due modi: utilizzando il costruttore di regole o importando un file robots.txt da un altro sito.
Metodo 1: Aggiungere regole con il Generatore di regole
Il costruttore di regole viene utilizzato per aggiungere regole personalizzate per le pagine che i robot devono scansionare o meno.
Ad esempio, è possibile utilizzare il costruttore di regole se si desidera aggiungere una regola che blocchi tutti i robot da una directory temporanea.
Per aggiungere una regola personalizzata, inserire l'agente utente (ad esempio, il crawler Googlebot) nel campo Agente utente. Oppure si può usare il simbolo * per applicare la regola a tutti gli user agent (robot).
Quindi, selezionare una delle direttive robots.txt preimpostate: Allow, Disallow, Clean-param o Crawl-delay.
È possibile aggiungere altre direttive facendo clic sul pulsante Aggiungi regola.
Dopo aver deciso la direttiva da applicare, è necessario inserire il percorso della directory o il nome del file nel campo Valore .
Una volta fatto questo, si può fare clic sul pulsante Salva modifiche nell'angolo in basso a destra della pagina.
Una volta salvate le nuove regole, queste appariranno nella sezione Anteprima di Robots.txt.
Per visualizzare il file robots.txt, fare clic sul pulsante Apri Robots.txt.
Questo vi porterà all'URL in cui è ospitato il vostro robots.txt.
Metodo 2: Importare le regole da un altro sito
Un altro modo semplice per aggiungere direttive nel vostro robots.txt è quello di importarle da un altro sito. Questa funzione è utile se avete creato un sito o ne conoscete uno con un file robots.txt che volete replicare.
Per importare un file robots.txt da un altro sito, andare nel menu AIOSEO, quindi Strumenti " Robots.txt " Attiva Robots.txt personalizzato.
Quindi, fare clic sull'opzione Importa.
Si aprirà una finestra in cui incollare l'URL del sito da cui si vuole estrarre il file robots.txt.
Fare clic su Importa e verrà richiesto di ricaricare il sito. Ricaricandolo, il plugin preleverà il file robots.txt e lo implementerà nel sito.
In alternativa, è possibile copiare il file robots.txt dal sito di destinazione e incollarlo nell'apposito spazio. Di nuovo, fare clic su Importa e il file robots.txt verrà aggiunto al sito.
Questo è probabilmente il modo più semplice per aggiungere un file robots.txt personalizzato al vostro sito WordPress.
Modifica delle regole di Robots.txt tramite il Generatore di regole
Per modificare le regole di robots.txt, è possibile cambiare i dettagli nel costruttore di regole.
È anche possibile eliminare una regola nel file robots.txt facendo clic sull'icona del cestino a destra della regola.
E non è tutto! L'editor del robots.txt di AIOSEO consente di spostare le regole in alto o in basso per posizionarle in ordine di priorità. Per fare ciò, fate clic e tenete premuti i 6 punti accanto al cestino per trascinare e riposizionare una regola.
Una volta terminata la modifica del file robots.txt, fare clic sul pulsante Salva modifiche per salvare le nuove regole.
Funzioni di modifica del file robots.txt
Bloccare i bot o i web crawler indesiderati [Modo semplice].
I crawler web, ovvero i bot o gli spider, sono un'arma a doppio taglio. Molti, come i motori di ricerca, sono necessari per il successo del vostro sito. Tuttavia, alcuni possono semplicemente succhiare le risorse del vostro server, rallentare il vostro sito o addirittura rubare i vostri contenuti.
Come mi devo comportare di solito?
Poiché non ho una formazione tecnica, cerco sempre il modo più semplice 😜. Il modo più semplice per impedire ai bot indesiderati di strisciare sul vostro sito è utilizzare la funzione Crawl Cleanup di AIOSEO. Questa funzione è dotata di impostazioni che aiutano a gestire il traffico dei bot sul sito.
Questa funzione consente di selezionare i bot ai quali si vuole impedire il crawling del sito. È sufficiente selezionare quelli che si desidera bloccare.
Quando si blocca un bot indesiderato, AIOSEO modifica il file robots.txt con le direttive di disallow. Questa funzione è integrata anche nell'editor robots.txt per facilitare l'operazione.
Blocco delle ricerche interne al sito
I siti web spesso generano URL non necessari dalle ricerche interne, con conseguente spreco di budget di crawl e potenziale spam. Anche in questo caso, il problema può essere risolto facilmente utilizzando Crawl Cleanup di AIOSEO. Tutto ciò che dovete fare è configurare i filtri utilizzando le levette.
AIOSEO vi dà il potere di controllare il modo in cui i motori di ricerca e altri bot interagiscono con gli URL creati dalle ricerche interne al sito. Potete:
- Impostazione di un limite massimo di caratteri per le query di ricerca, per evitare URL di ricerca gonfiati.
- Filtra automaticamente le emoji e i caratteri speciali per evitare termini di ricerca disordinati o senza senso.
- Blocca gli schemi di spam più comuni, impedendo alle ricerche indesiderate di creare URL indicizzabili non necessari.
Anche in questo caso, AIOSEO modifica il file robots.txt nel backend. In alternativa, è possibile configurare queste impostazioni nel proprio editor di robots.txt:
Semplicemente!
Avete modificato il file robots.txt.
Modifica dei file Robots.txt: Risposte alle vostre domande frequenti
Che cos'è un file robots.txt?
Un file robots.txt è un file di testo che i proprietari di siti web utilizzano per comunicare con i web crawler o i robot quali parti del loro sito devono essere scansionate e indicizzate dai motori di ricerca.
Dove si trova il file robots.txt?
Il file robots.txt si trova in genere nella directory principale di un sito web. Il suo URL è solitamente https://www.example.com/robots.txt.
Qual è il modo migliore per modificare i file robots.txt?
Il modo migliore per modificare il file robots.txt è utilizzare un plugin come All In One SEO (AIOSEO). È il miglior plugin SEO per WordPress e dispone di un editor robots.txt avanzato che rende l'ottimizzazione dei file robots.txt estremamente semplice.
Speriamo che questo tutorial vi abbia mostrato come modificare facilmente un file robots.txt in WordPress. Potreste anche voler dare un'occhiata ad altri articoli del nostro blog, come i nostri consigli per ottenere l'indicizzazione su Google o la nostra guida sull'utilizzo delle statistiche di ricerca per aumentare il vostro posizionamento.
Se questo articolo vi è stato utile, iscrivetevi al nostro canale YouTube. Vi troverete molte altre esercitazioni utili. Potete anche seguirci su X (Twitter), LinkedIn o Facebook per rimanere aggiornati.
Vuoi provare AIOSEO gratuitamente?
Inserite l'URL del vostro sito web WordPress per installare AIOSEO Lite.
Divulgazione: I nostri contenuti sono sostenuti dai lettori. Ciò significa che se cliccate su alcuni dei nostri link, potremmo guadagnare una commissione. Raccomandiamo solo prodotti che riteniamo possano apportare un valore aggiunto ai nostri lettori.
Ciao, grazie per l'articolo.
Recentemente ho letto il suo articolo sul decadimento dei contenuti. Uno dei nostri problemi è la velocità delle pagine e sto lavorando per ridurre i tempi di caricamento. Tuttavia, non sono un professionista della codifica o di qualsiasi altra cosa che abbia a che fare con la tecnologia. Di solito mi occupo di marketing e design.
Con queste premesse, la mia domanda è la seguente: quando carico le immagini e scrivo le loro didascalie e i tag alt, voglio che appaiano nelle serp per le ricerche di immagini, ma non voglio causare l'ingolfamento dell'indice.
Ci sono delle tattiche che mi consigliate di utilizzare per evitare questo problema? Ho già disabilitato la sitemap delle immagini (proprio oggi), dopo aver letto che non è necessaria e che non rimuoverà le mie immagini attuali dal sito.
Questo mi porta anche a fare una seconda domanda: come faccio a sapere (da persona che non sa leggere html, js o altro) se la disabilitazione della sitemap delle immagini è stata efficace nel migliorare la velocità di caricamento? Grazie per l'aiuto!