Usando a ferramenta Robots.txt no All in One SEO

Deseja personalizar o robots.txt em seu site? Este artigo o ajudará.

O módulo robots.txt do All in One SEO permite que você gerencie o robots.txt que o WordPress cria.

Isso permite que você tenha maior controle sobre as instruções que fornece aos rastreadores da Web sobre o seu site.

Vídeo tutorial

Aqui está um vídeo sobre como usar a ferramenta Robots.txt no All in One SEO:

Sobre o Robots.txt no WordPress

Primeiro, é importante entender que o WordPress gera um robots.txt dinâmico para cada site WordPress.

Esse robots.txt padrão contém as regras padrão para qualquer site executado no WordPress.

Em segundo lugar, como o WordPress gera um robots.txt dinâmico, não há nenhum arquivo estático a ser encontrado em seu servidor. O conteúdo do robots.txt é armazenado no banco de dados do WordPress e exibido em um navegador da Web. Isso é perfeitamente normal e é muito melhor do que usar um arquivo físico em seu servidor.

Por fim, o All in One SEO não gera um robots.txt, ele apenas fornece uma maneira muito fácil de adicionar regras personalizadas ao robots.txt padrão gerado pelo WordPress.

Usando o editor Robots.txt no All in One SEO

Para começar, clique em Tools (Ferramentas ) no menu All in One SEO.

Você deverá ver o Robots.txt Editor e a primeira configuração será Enable Custom Robots.txt. Clique no botão de alternância para ativar o editor de robots.txt personalizado.

Você deverá ver a seção Custom Robots.txt Preview na parte inferior da tela, que mostra as regras padrão adicionadas pelo WordPress.

Regras padrão do Robots.txt no WordPress

As regras padrão exibidas na seção Custom Robots.txt Preview (mostrada na captura de tela acima) solicitam que os robôs não rastreiem seus arquivos principais do WordPress. Não é necessário que os mecanismos de pesquisa acessem esses arquivos diretamente porque eles não contêm nenhum conteúdo relevante do site.

Se, por algum motivo, você quiser remover as regras padrão adicionadas pelo WordPress, precisará usar o gancho do filtro robots_txt no WordPress.

Adição de regras usando o Rule Builder

O construtor de regras é usado para adicionar suas próprias regras personalizadas para caminhos específicos em seu site.

Por exemplo, se você quiser adicionar uma regra para bloquear todos os robôs de um diretório temporário, poderá usar o construtor de regras para fazer isso.

Para adicionar uma regra, clique no botão Add Rule (Adicionar regra) e preencha os campos descritos abaixo.

Agente do usuário

Primeiro, insira o agente do usuário no campo User Agent (Agente do usuário ).

Por exemplo, se você quiser especificar o rastreador do Google, digite "Googlebot" no campo User Agent.

Se quiser uma regra que se aplique a todos os agentes de usuário, digite * no campo User Agent.

Diretriz

Em seguida, selecione o tipo de regra no menu suspenso Diretiva. Há quatro tipos de regras que você pode selecionar:

• Allow permitirá que os rastreadores com o agente de usuário especificado acessem o diretório ou arquivo no campo Value (Valor).
• Block bloqueará o acesso de rastreadores com o agente de usuário especificado ao diretório ou arquivo no campo Value (Valor).
• O Clean-param permite que você exclua páginas com parâmetros de URL que podem fornecer o mesmo conteúdo com um URL diferente. O Yandex, o único mecanismo de pesquisa que atualmente oferece suporte a essa diretiva, tem uma boa explicação com exemplos aqui.
• O atraso de rastreamento informa aos rastreadores a frequência com que eles podem rastrear seu conteúdo. Por exemplo, um atraso de rastreamento de 10 informa aos rastreadores que não devem rastrear seu conteúdo mais do que a cada 10 segundos.
  Atualmente, essa diretiva é compatível apenas com o Bing, o Yahoo e o Yandex. Você pode alterar a taxa de rastreamento do rastreador do Google no Google Search Console.

Valor

Em seguida, digite o caminho do diretório ou o nome do arquivo no campo Value (Valor).

Você pode inserir um caminho de diretório, como /wp-content/backups/, e caminhos de arquivo, como /wp-content/backups/temp.png.

Você também pode usar * como um curinga, como /wp-content/backup-*.

Se você quiser adicionar mais regras, clique no botão Add Rule (Adicionar regra ) e repita as etapas acima.

Quando terminar, clique no botão Save Changes (Salvar alterações ).

Suas regras aparecerão na seção Custom Robots.txt Preview e no seu arquivo robots.txt, que pode ser visualizado clicando no botão Open Robots.txt.

Edição de regras usando o Rule Builder

Para editar qualquer regra que você tenha adicionado, basta alterar os detalhes no construtor de regras e clicar no botão Salvar alterações.

Exclusão de uma regra no Rule Builder

Para excluir uma regra que você adicionou, clique no ícone de lixeira à direita da regra.

Alteração da ordem das regras no Rule Builder

Você pode alterar facilmente a ordem em que as regras personalizadas aparecem no seu robots.txt arrastando e soltando as entradas no construtor de regras.

Clique e mantenha pressionado o ícone de arrastar e soltar à direita da regra e mova a regra para onde você deseja que ela apareça, conforme mostrado abaixo.

O Google tem uma boa explicação aqui sobre a importância da ordem em que você coloca suas regras.

Importação de seu próprio Robots.txt para o All in One SEO

Você pode importar seu próprio robots.txt ou regras de outra fonte com muita facilidade.

Primeiro, clique no botão Importar para abrir a janela Importar Robots.txt.

Na janela Importar Robots.txt, você pode importar de um URL inserindo o URL de um robots.txt no campo Importar de URL ou pode colar o conteúdo de um robots.txt no campo de texto Colar Robots.txt.

Depois de fazer isso, clique no botão Importar.

Uso de regras avançadas no Rule Builder

O Robots.txt Rule Builder também suporta o uso de regras avançadas. Isso inclui padrões regex, bem como parâmetros de URL.

Aqui estão três exemplos de como as regras avançadas podem ser usadas:

Nos exemplos acima, essas regras avançadas são mostradas:

• /search$ - usa regex para permitir o acesso ao caminho exato "/search"
• /search/ - bloqueia o acesso a caminhos que começam com "/search/", mas não são uma correspondência exata
• /?display=wide - permite o acesso à página inicial com o parâmetro de URL correspondente

Regras avançadas como essas permitem controle granular sobre o arquivo robots.txt do seu site para que você tenha controle total sobre como os agentes de usuários acessam o seu site.

Bloqueio de rastreadores indesejados

Você pode usar a opção Block AI Crawlers para adicionar regras ao seu robots.txt que bloqueiam rastreadores conhecidos, como os rastreadores de IA e o Google AdsBot.

Você pode selecionar cada um dos rastreadores para bloqueá-los ou pode selecionar All AI Crawlers para bloquear todos os listados.

Bloquear o rastreamento de URLs de pesquisa interna do site

Você pode usar a configuração Block Crawling of Internal Site Search URLs (Bloquear rastreamento de URLs de pesquisa interna do site ) para adicionar regras ao seu robots.txt e impedir o rastreamento de URLs para páginas de pesquisa. Isso reduz o rastreamento desnecessário de seu site.

Editor Robots.txt para WordPress Multisite

Há também um Robots.txt Editor para redes de vários sites. Os detalhes podem ser encontrados em nossa documentação sobre o Robots.txt Editor for Multisite Networks aqui.