Una delle domande che ci vengono poste più spesso è quale sia la differenza tra il tag meta robots NOINDEX e robots.txt, e quando ciascuno dovrebbe essere utilizzato. Questo articolo affronta questa domanda.
In questo articolo
Il tag meta robots NOINDEX
Il tag NOINDEX viene utilizzato per impedire che i contenuti appaiano nei risultati di ricerca. Il tag meta NOINDEX appare nel codice sorgente dei tuoi contenuti e dice a un motore di ricerca di non includere tali contenuti nei risultati di ricerca.
Il tag meta robots NOINDEX appare così nel codice sorgente della tua pagina:
<meta name="robots" content="noindex" />
Il file robots.txt
Il file robots.txt dice ai motori di ricerca dove i loro crawler possono e non possono andare su un sito web. Include direttive "Allow" e "Disallow" che guidano un motore di ricerca su quali directory e file deve o non deve eseguire la scansione.
Tuttavia, non impedisce che i tuoi contenuti vengano elencati nei risultati di ricerca. Inoltre, se la directory o il file bloccato è collegato da qualsiasi pagina del tuo sito web o da un altro sito web, i motori di ricerca possono comunque eseguirne la scansione.
Un esempio di come useresti il file robots.txt è quello di istruire i motori di ricerca a non eseguire la scansione della directory "/cgi-bin/" che potrebbe esistere sul tuo server, perché non c'è nulla nella directory che sia utile ai motori di ricerca.
Il robots.txt predefinito per WordPress appare così:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
La differenza tra NOINDEX e robots.txt
La differenza tra i due è la seguente:
- Il file robots.txt viene utilizzato per guidare un motore di ricerca su quali directory e file deve eseguire la scansione. Non impedisce che i contenuti vengano indicizzati ed elencati nei risultati di ricerca.
- Il tag meta robots NOINDEX dice ai motori di ricerca di non includere i contenuti nei risultati di ricerca e, se i contenuti sono già stati indicizzati in precedenza, allora dovrebbero eliminarli completamente. Non impedisce ai motori di ricerca di eseguire la scansione dei contenuti.
La differenza più grande da capire è che se vuoi che i motori di ricerca non includano i contenuti nei risultati di ricerca, allora DEVI usare il tag NOINDEX e DEVI permettere ai motori di ricerca di eseguire la scansione dei contenuti. Se i motori di ricerca NON POSSONO eseguire la scansione dei contenuti, allora NON POSSONO vedere il tag meta NOINDEX e quindi NON POSSONO escludere i contenuti dai risultati di ricerca.
Quindi, se vuoi che un contenuto non venga incluso nei risultati di ricerca, usa NOINDEX. Se vuoi impedire ai motori di ricerca di eseguire la scansione di una directory sul tuo server perché non contiene nulla che debbano vedere, usa la direttiva "Disallow" nel tuo file robots.txt.
Puoi trovare la documentazione sull'uso della funzionalità NOINDEX in All in One SEO nel nostro articolo su Mostrare o Nascondere i Tuoi Contenuti nei Risultati di Ricerca qui.
Puoi trovare la documentazione sull'uso della funzionalità Robots.txt in All in One SEO nel nostro articolo su Utilizzo dello Strumento Robots.txt in All in One SEO qui.