Uma das perguntas mais frequentes que recebemos é qual é a diferença entre a meta tag de robôs NOINDEX e o robots.txt, e quando cada um deve ser usado. Este artigo aborda essa questão.
Neste artigo
A meta tag de robôs NOINDEX
A meta tag NOINDEX é usada para impedir que o conteúdo apareça nos resultados de pesquisa. A meta tag NOINDEX aparece no código-fonte do seu conteúdo e informa ao mecanismo de pesquisa para não incluir esse conteúdo nos resultados de pesquisa.
A meta tag NOINDEX robots tem a seguinte aparência no código-fonte de sua página:
<meta name="robots" content="noindex" />
O arquivo robots.txt
O arquivo robots.txt informa aos mecanismos de pesquisa onde os rastreadores podem ou não ir em um site. Ele inclui as diretivas "Allow" (permitir) e "Disallow" (não permitir) que orientam o mecanismo de pesquisa sobre quais diretórios e arquivos devem ou não ser rastreados.
No entanto, isso não impede que seu conteúdo seja listado nos resultados de pesquisa. Além disso, se o diretório ou arquivo bloqueado estiver vinculado a qualquer página do seu site ou de outro site, os mecanismos de pesquisa ainda poderão rastreá-los.
Um exemplo de como usar o arquivo robots.txt é instruir os mecanismos de pesquisa a não rastrear o diretório "/cgi-bin/" que pode existir em seu servidor, pois não há nada no diretório que seja útil para os mecanismos de pesquisa.
O robots.txt padrão do WordPress tem a seguinte aparência:
Agente de usuário: * Não permitir: /wp-admin/ Permitir: /wp-admin/admin-ajax.php
A diferença entre NOINDEX e robots.txt
A diferença entre os dois é a seguinte:
- O arquivo robots.txt é usado para orientar um mecanismo de pesquisa sobre quais diretórios e arquivos ele deve rastrear. Ele não impede que o conteúdo seja indexado e listado nos resultados de pesquisa.
- A meta tag NOINDEX robots informa aos mecanismos de pesquisa para não incluírem o conteúdo nos resultados de pesquisa e, se o conteúdo já tiver sido indexado anteriormente, eles devem descartar o conteúdo por completo. Ela não impede que os mecanismos de pesquisa rastreiem o conteúdo.
A maior diferença a ser entendida é que, se você quiser que os mecanismos de pesquisa não incluam o conteúdo nos resultados de pesquisa, DEVE usar a meta tag NOINDEX e DEVE permitir que os mecanismos de pesquisa rastreiem o conteúdo. Se os mecanismos de pesquisa NÃO PUDEREM rastrear o conteúdo, eles NÃO PODERÃO ver a meta tag NOINDEX e, portanto, NÃO PODERÃO excluir o conteúdo dos resultados de pesquisa.
Portanto, se você quiser que o conteúdo não seja incluído nos resultados de pesquisa, use NOINDEX. Se quiser impedir que os mecanismos de pesquisa rastreiem um diretório em seu servidor porque ele não contém nada que eles precisem ver, use a diretiva "Disallow" em seu arquivo robots.txt.
Você pode encontrar documentação sobre o uso do recurso NOINDEX no All in One SEO em nosso artigo sobre como mostrar ou ocultar seu conteúdo nos resultados de pesquisa aqui.
Você pode encontrar documentação sobre o uso do recurso Robots.txt no All in One SEO em nosso artigo sobre o uso da ferramenta Robots.txt no All in One SEO aqui.