Confira nosso vídeo sobre como usar o All in One SEO em Redes de Multisite do WordPress aqui.
Se você tem uma Rede de Multisite do WordPress, pode gerenciar regras globais de robots.txt que serão aplicadas a todos os sites da rede.
IMPORTANTE:
Este recurso atualmente funciona apenas para Redes de Multisite do WordPress configuradas como subdomínios. Ele não funciona para aquelas configuradas como subdiretórios.
Neste Artigo
- Vídeo Tutorial
- Regras Padrão do Robots.txt no WordPress
- Adicionando Regras Usando o Construtor de Regras
- Editando Regras Usando o Construtor de Regras
- Excluindo uma Regra no Construtor de Regras
- Bloqueando Rastreadores Indesejados
- Bloquear o Rastreamento de URLs de Pesquisa Interna do Site
- Gerenciando Robots.txt para Subsites
Vídeo Tutorial
Para começar, vá para o Painel de Administração da Rede e clique em All in One SEO > Ferramentas da Rede no menu à esquerda.
Você verá nosso Editor de Robots.txt padrão, onde pode ativar e gerenciar regras personalizadas para o seu robots.txt.
Clique no botão de alternância Ativar Robots.txt Personalizado para ativar o editor de regras.

Você verá a seção Pré-visualização do Robots.txt na parte inferior da tela, que mostra as regras padrão adicionadas pelo WordPress.

Regras Padrão do Robots.txt no WordPress
As regras padrão que aparecem na seção Pré-visualização do Robots.txt (mostrada na captura de tela acima) pedem aos robôs para não rastrear seus arquivos principais do WordPress. É desnecessário que os mecanismos de busca acessem esses arquivos diretamente, pois eles não contêm nenhum conteúdo relevante do site.
Se por algum motivo você quiser remover as regras padrão adicionadas pelo WordPress, precisará usar o gancho de filtro robots_txt no WordPress.
Adicionando Regras Usando o Construtor de Regras
O construtor de regras é usado para adicionar suas próprias regras personalizadas para caminhos específicos em seu site.
Por exemplo, se você quiser adicionar uma regra para bloquear todos os robôs de um diretório temporário, poderá usar o construtor de regras para adicioná-la.

Para adicionar uma regra, insira o user agent no campo User Agent. Usar * aplicará a regra a todos os user agents.
Em seguida, selecione Permitir ou Negar para permitir ou bloquear o user agent.
Em seguida, insira o caminho do diretório ou o nome do arquivo no campo Caminho do Diretório.
Finalmente, clique no botão Salvar Alterações.
Se quiser adicionar mais regras, clique no botão Adicionar Regra e repita os passos acima e clique no botão Salvar Alterações.
Suas regras aparecerão na seção Pré-visualização do Robots.txt e no seu robots.txt, que você pode visualizar clicando no botão Abrir Robots.txt.

Qualquer regra que você adicionar aqui se aplicará a todos os sites da sua rede e não poderá ser substituída no nível de cada site individual.
Editando Regras Usando o Construtor de Regras
Para editar qualquer regra que você adicionou, basta alterar os detalhes no construtor de regras e clicar no botão Salvar Alterações.

Excluindo uma Regra no Construtor de Regras
Para excluir uma regra que você adicionou, clique no ícone da lixeira à direita da regra.

Bloqueando Rastreadores Indesejados
Você pode usar Bloquear Rastreadores de IA para adicionar regras ao seu robots.txt que bloqueiam rastreadores conhecidos, como rastreadores de IA e Google AdsBot.

Você pode selecionar cada um dos rastreadores para bloqueá-los, ou pode selecionar Todos os Rastreadores de IA para bloquear todos os listados.
Bloquear o Rastreamento de URLs de Pesquisa Interna do Site
Você pode usar a configuração Bloquear Rastreamento de URLs de Pesquisa Interna do Site para adicionar regras ao seu robots.txt para impedir o rastreamento de URLs de páginas de pesquisa. Isso reduz o rastreamento desnecessário do seu site.

Gerenciando Robots.txt para Subsites
No Editor de Robots.txt da rede multisite, é muito fácil editar regras de robôs para qualquer site da sua rede.
Para começar, basta clicar no menu suspenso de seleção de site na parte superior do Editor de Robots.txt. A partir daí, selecione o site para o qual deseja editar as regras, ou pesquise por ele digitando o domínio:

Depois de selecionar um site, as regras abaixo serão atualizadas automaticamente e você poderá modificar/alterar as regras apenas para esse site. Certifique-se de clicar em Salvar Alterações após modificar as regras para o subsite.