Gostaria de saber como gerar arquivos robots.txt no WordPress?
Um arquivo robots.txt ajuda a controlar como os bots de busca interagem com o seu site. Isso o torna uma ferramenta de SEO muito útil para aqueles que sabem como usá-la.
Neste artigo, mostraremos a você como gerar um arquivo robots.txt no Wordpress.
Neste artigo
- O que é um arquivo Robots.txt
- Como gerar um arquivo Robots.txt no WordPress
- Etapa 1: Instalar o AIOSEO
- Etapa 2: Acesse o editor Robots.txt
- Etapa 3: Adicionar diretivas Robots.txt
- Etapa 4: Importar diretivas Robots.txt de outro site (opcional)
- Etapa 5. Bloquear bots indesejados (opcional)
- Etapa 6. Impedir o rastreamento de URLs de pesquisa interna do site (opcional)
- Etapa 7: Teste seu arquivo Robots.txt
- Como gerar um arquivo Robots.txt no WordPress: Suas perguntas frequentes respondidas
O que é um arquivo Robots.txt
Robots.txt é um arquivo de texto que os proprietários de sites podem criar para informar aos bots dos mecanismos de pesquisa como interagir com seus sites, principalmente quais páginas devem ser rastreadas e quais devem ser ignoradas. Em essência, ele atua como o guardião do seu site e é armazenado no diretório raiz (também conhecido como a pasta principal) do seu site.
É assim que ele se parece:
Você pode acessar facilmente seu arquivo robots.txt visitando https://yoursite.com/robots.txt.
Isso não deve ser confundido com as meta tags de robôs, que são tags HTML incorporadas no cabeçalho de uma página da Web. A tag se aplica somente à página em que está.
Aqui estão algumas coisas para as quais você pode usar um arquivo robots.txt:
- Controle de rastreamento
- Indexação direta
- Evitar problemas de conteúdo duplicado
- Proteger informações confidenciais
- Otimiza o orçamento de rastreamento
- Melhora o desempenho do site
Apesar de ser um simples arquivo de texto, ter um arquivo robots.txt otimizado pode afetar significativamente seu SEO.
Como gerar um arquivo Robots.txt no WordPress
Pronto para gerar arquivos robots.txt?
Observação: O WordPress gera automaticamente um arquivo robots.txt para seu site. Mas, normalmente, o arquivo padrão pode precisar ser otimizado.
As etapas a seguir mostrarão como gerar um arquivo robots.txt personalizado. Não se preocupe. Não é necessário nenhum conhecimento técnico ou de código.
Etapa 1: Instalar o AIOSEO
A primeira etapa para gerar arquivos robots.txt personalizados é instalar e ativar o All In One SEO (AIOSEO).
O AIOSEO é um plug-in de SEO avançado e fácil de usar que conta com mais de 3 milhões de instalações ativas. Milhões de blogueiros inteligentes usam o AIOSEO para ajudá-los a aumentar suas classificações nos mecanismos de pesquisa e direcionar tráfego qualificado para seus blogs. O plug-in tem muitos recursos e módulos avançados para ajudá-lo a definir corretamente suas configurações de SEO. Os exemplos incluem:
- Estatísticas de pesquisa: Essa poderosa integração com o Google Search Console permite que você acompanhe suas classificações de palavras-chave e veja métricas importantes de SEO com um clique e muito mais.
- Gerador de esquema de última geração: Esse gerador de esquema sem código permite que os usuários gerem e produzam qualquer marcação de esquema em seu site.
- Redirection Manager: Ajuda a gerenciar redirecionamentos e a eliminar erros 404, facilitando o rastreamento e a indexação do seu site pelos mecanismos de pesquisa.
- Link Assistant: poderosa ferramenta de links internos que automatiza a criação de links entre as páginas do seu site. Ele também fornece uma auditoria dos links de saída.
- Visualização de SEO: Fornece uma visão geral dos snippets sociais e de pesquisa e do SEO geral para que você possa aprimorar sua otimização.
- IndexNow: Para indexação rápida em mecanismos de pesquisa que suportam o protocolo IndexNow (como Bing e Yandex).
- Gerador de mapa do site: Gera automaticamente diferentes tipos de sitemaps para notificar todos os mecanismos de pesquisa sobre quaisquer atualizações em seu site.
- E mais.
Para obter instruções passo a passo sobre como instalar o AIOSEO, consulte nosso guia de instalação.
E um dos recursos mais adorados é o nosso editor avançado de robots.txt. Essa poderosa ferramenta facilita a personalização do arquivo robots.txt para atender às suas necessidades. Além disso, ela também adiciona automaticamente os URLs do mapa do site ao arquivo robots.txt!
Etapa 2: Acesse o editor Robots.txt
Depois de ativar o AIOSEO, a próxima etapa é acessar o Robots.txt Editor do AIOSEO. Para fazer isso, acesse o menu do AIOSEO e clique em Tools " Robots.txt Editor.
Em seguida, clique na opção Enable Custom Robots.txt (Ativar robôs personalizados.txt ). Isso permite que você edite seu arquivo robots.txt.
Etapa 3: Adicionar diretivas Robots.txt
Depois de ativar a edição de seus arquivos robots.txt, a próxima etapa é adicionar suas diretivas personalizadas.
Essas são as instruções que você deseja que os bots de busca sigam. Os exemplos incluem Allow, Disallow, Clean-param e Crawl delay.
Veja a seguir o que cada diretriz significa:
- Permitir: Permite que agentes de usuários (bots) rastreiem o URL.
- Não permitir: Não permite que agentes de usuários (bots) rastreiem o URL.
- Clean-param: diz aos bots de busca para ignorar todos os URLs com os parâmetros de URL estipulados.
- Atraso de rastreamento: Define os intervalos para que os bots de busca rastreiem o URL.
Nessa seção, também é possível determinar quais agentes de usuário devem seguir a diretiva. Você também terá de estipular o valor (URL, parâmetros de URL ou frequência) da diretiva.
Etapa 4: Importar diretivas Robots.txt de outro site (opcional)
Uma maneira mais simples de gerar arquivos robots.txt no WordPress é usar a função Importar.
Ao clicar no botão Importar, será aberta uma janela com duas opções para importar o arquivo robots.txt escolhido:
Importar do URL: Basta colar o URL do arquivo robots.txt que você deseja importar(https://examplesite.com/robots.txt) e clicar em Importar. O arquivo robots.txt será importado para seu site.
Cole o texto Robots.txt: Abra o URL com o arquivo robots.txt que você deseja importar e copie o texto. Em seguida, volte ao seu site, cole-o no campo fornecido e clique em Importar.
Esse método é melhor se o site do qual você está importando o arquivo robots.txt tiver diretivas que você gostaria de implementar no seu site.
Etapa 5. Bloquear bots indesejados (opcional)
Outro recurso muito interessante do Robots.txt Editor do AIOSEO é a seção Block AI Crawlers. Isso permite que você bloqueie o rastreamento do seu site por bots não autorizados. Isso pode levar a problemas de desempenho, segurança e SEO.
Para saber mais sobre isso, confira nosso tutorial sobre como bloquear o tráfego indesejado de bots em seu site.
Etapa 6. Impedir o rastreamento de URLs de pesquisa interna do site (opcional)
Os sites geralmente produzem URLs em excesso quando os visitantes usam recursos de pesquisa interna para encontrar conteúdo ou produtos. Esses URLs gerados dinamicamente geralmente incluem parâmetros que os mecanismos de busca tratam como páginas exclusivas. Como resultado, os mecanismos de busca podem perder tempo rastreando esses URLs desnecessários, o que pode esgotar seu orçamento de rastreamento e, possivelmente, prejudicar a indexação das páginas mais importantes.
Você pode evitar isso facilmente no Robots.txt Editor do AIOSEO.
O AIOSEO adiciona uma regra "disallow" ao seu arquivo robots.txt sem que você precise fazer isso para cada parâmetro gerado pela pesquisa.
Para obter mais informações, consulte nosso tutorial sobre como editar o arquivo robots.txt.
Etapa 7: Teste seu arquivo Robots.txt
Quando terminar de gerar o arquivo robots.txt, você poderá testá-lo para verificar se há erros. No entanto, isso é muito raro se você usar o editor de robots.txt do AIOSEO, pois ele tem validação de regras e tratamento de erros incorporados.
No entanto, se quiser verificar novamente se não há erros no seu arquivo robots.txt, você pode usar a ferramenta de teste de robots.txt do Google Search Console. Basta inserir sua propriedade, e a ferramenta extrairá automaticamente seu arquivo robots.txt e destacará os erros.
Como gerar um arquivo Robots.txt no WordPress: Suas perguntas frequentes respondidas
Qual é a finalidade de um arquivo robots.txt?
Um arquivo robots.txt fornece instruções aos rastreadores dos mecanismos de pesquisa sobre quais partes do seu site eles têm permissão para acessar e indexar. Ele ajuda a controlar como os mecanismos de pesquisa interagem com o conteúdo do seu site.
Como posso gerar o robots.txt no WordPress?
Você pode gerar facilmente um arquivo robots.txt no WordPress usando um plug-in como o All In One SEO (AIOSEO). Você não precisa de conhecimento técnico ou de codificação.
Posso criar manualmente um arquivo robots.txt para meu site WordPress?
Sim, você pode criar manualmente um arquivo robots.txt usando um editor de texto e colocá-lo no diretório raiz do seu site. Isso leva mais tempo do que usar um plug-in como o AIOSEO e requer conhecimento avançado do WordPress.
Esperamos que este post tenha ajudado você a saber o que é o robots.txt no WordPress e por que é importante otimizar o seu. Talvez você também queira conferir outros artigos em nosso blog, como nosso guia sobre rastreamento e indexação e seu impacto no SEO ou nossas dicas para melhorar sua indexação no Google.
Se você achou este artigo útil, inscreva-se em nosso canal do YouTube. Você encontrará muitos outros tutoriais úteis lá. Você também pode nos seguir no Twitter, LinkedIn ou Facebook para ficar por dentro das novidades.
Quer experimentar o AIOSEO gratuitamente?
Digite o URL do seu site WordPress para instalar o AIOSEO Lite.
Divulgação: Nosso conteúdo é apoiado pelo leitor. Isso significa que, se você clicar em alguns de nossos links, poderemos receber uma comissão. Recomendamos apenas produtos que acreditamos que agregarão valor aos nossos leitores.
