Uma das perguntas que mais recebemos é qual a diferença entre a tag de meta NOINDEX para robôs e o robots.txt, e quando cada um deve ser usado. Este artigo aborda essa questão.
Neste Artigo
A tag de meta NOINDEX para robôs
A tag NOINDEX é usada para impedir que o conteúdo apareça nos resultados de pesquisa. A tag de meta NOINDEX aparece no código-fonte do seu conteúdo e diz a um mecanismo de pesquisa para não incluir esse conteúdo nos resultados de pesquisa.
A tag de meta NOINDEX para robôs se parece com isto no código-fonte da sua página:
<meta name="robots" content="noindex" />
O arquivo robots.txt
O arquivo robots.txt informa aos mecanismos de pesquisa onde seus rastreadores podem e não podem ir em um site. Ele inclui diretivas "Permitir" e "Negar" que orientam um mecanismo de pesquisa sobre quais diretórios e arquivos ele deve ou não rastrear.
No entanto, isso não impede que seu conteúdo seja listado nos resultados de pesquisa. Além disso, se o diretório ou arquivo bloqueado for vinculado de qualquer página em seu site ou em outro site, os mecanismos de pesquisa ainda poderão rastreá-los.
Um exemplo de como você usaria o arquivo robots.txt é instruir os mecanismos de pesquisa a não rastrear o diretório "/cgi-bin/" que pode existir em seu servidor, porque não há nada no diretório que seja útil para os mecanismos de pesquisa.
O robots.txt padrão para WordPress se parece com isto:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
A diferença entre NOINDEX e robots.txt
A diferença entre os dois é a seguinte:
- O arquivo robots.txt é usado para orientar um mecanismo de pesquisa sobre quais diretórios e arquivos ele deve rastrear. Ele não impede que o conteúdo seja indexado e listado nos resultados de pesquisa.
- A tag de meta NOINDEX para robôs diz aos mecanismos de pesquisa para não incluir o conteúdo nos resultados de pesquisa e, se o conteúdo já foi indexado antes, então eles devem removê-lo completamente. Isso não impede que os mecanismos de pesquisa rastreiem o conteúdo.
A maior diferença a entender é que, se você quiser que os mecanismos de pesquisa não incluam o conteúdo nos resultados de pesquisa, então você DEVE usar a tag NOINDEX e você DEVE permitir que os mecanismos de pesquisa rastreiem o conteúdo. Se os mecanismos de pesquisa NÃO PODEM rastrear o conteúdo, então eles NÃO PODEM ver a tag de meta NOINDEX e, portanto, NÃO PODEM excluir o conteúdo dos resultados de pesquisa.
Portanto, se você não quer que o conteúdo seja incluído nos resultados de pesquisa, use NOINDEX. Se você quiser impedir que os mecanismos de pesquisa rastreiem um diretório em seu servidor porque ele não contém nada que eles precisem ver, use a diretiva "Disallow" em seu arquivo robots.txt.
Você pode encontrar documentação sobre o uso do recurso NOINDEX no All in One SEO em nosso artigo sobre Mostrar ou Ocultar Seu Conteúdo nos Resultados de Pesquisa aqui.
Você pode encontrar documentação sobre o uso do recurso Robots.txt no All in One SEO em nosso artigo sobre Usando a Ferramenta Robots.txt no All in One SEO aqui.