Gostaria de saber como editar os arquivos robots.txt no WordPress?
Eu costumava me sentir intimidado pela edição de arquivos robots.txt no WordPress. Como alguém que construiu e gerenciou mais de uma dúzia de sites do WordPress, lembro-me de olhar para a tela, preocupado com a possibilidade de um movimento errado prejudicar o SEO do meu site.
O arquivo robots.txt pode parecer assustador, mas na verdade é um arquivo de texto simples que informa aos mecanismos de pesquisa quais partes do seu site podem ou não ser acessadas. Depois de anos trabalhando com o WordPress, aprendi que a edição desse arquivo não precisa ser nada complicada.
Neste guia passo a passo, mostrarei a você as maneiras mais fáceis e seguras de editar o arquivo robots.txt no WordPress. Seja para bloquear determinadas páginas dos mecanismos de pesquisa ou para corrigir problemas de SEO, você saberá exatamente o que fazer.
Não se preocupe - eu o orientarei em cada etapa, para que você não quebre nada.
Neste artigo
O que é um arquivo Robots.txt?
Um arquivo robots.txt informa aos mecanismos de pesquisa como rastrear seu site, onde eles podem ou não ir.
Mecanismos de pesquisa como o Google usam esses rastreadores da Web, às vezes chamados de robôs da Web, para arquivar e categorizar sites.
A maioria dos bots é configurada para procurar um arquivo robots.txt no servidor antes de ler qualquer outro arquivo do seu site. Ele faz isso para verificar se você adicionou instruções especiais sobre como rastrear e indexar seu site.
O arquivo robots.txt geralmente é armazenado no diretório raiz, também conhecido como a pasta principal do seu site.
O URL pode ter a seguinte aparência:
http://www.example.com/robots.txt
Para verificar o arquivo robots.txt do seu site, basta substituir http://www.example.com/ pelo seu domínio e adicionar robots.txt no final.
Agora, vamos dar uma olhada no formato básico de um arquivo robots.txt:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
User-agent refere-se ao bot ou robô do mecanismo de busca que você deseja bloquear ou permitir que rastreie o seu site (por exemplo, o rastreador Googlebot ).
Ao editar o arquivo robots.txt, você pode incluir várias instruções para permitir ou não permitir URLs específicos, além de adicionar vários mapas de sites. Você também pode excluir parâmetros de URL usando a diretiva Clean-param e definir a frequência das visitas dos bots de busca usando a diretiva Crawl-delay.
Arquivo Robots.txt padrão no WordPress
Por padrão, o WordPress cria automaticamente um arquivo robots.txt para seu site. Portanto, mesmo que você não mexa um dedo, seu site já deve ter o arquivo padrão robots.txt do WordPress.
Mas quando você o personaliza posteriormente com suas próprias regras, o conteúdo padrão é substituído.
Veja como é o arquivo robots.txt padrão do WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
O asterisco após User-agent: * significa que o arquivo robots.txt é para todos os robôs da Web que visitam seu site. Conforme mencionado, a opção Disallow: /wp-admin/ diz aos robôs para não visitarem sua página wp-admin.
Você pode testar o arquivo robots.txt adicionando /robots.txt ao final do nome do domínio. Por exemplo, se você digitar "https://aioseo.com/robots.txt" no navegador da Web, ele mostrará o arquivo robots.txt do AIOSEO:
Agora que você já sabe o que é um arquivo robots.txt e como ele funciona, vamos ver por que o arquivo robots.txt é importante em primeiro lugar.
Por que o arquivo Robots.txt é importante?
O arquivo robots.txt é importante se você quiser:
- Otimize a velocidade de carregamento do site - ao dizer aos bots para não perderem tempo com páginas que você não quer que eles rastreiem e indexem, você pode liberar recursos e aumentar a velocidade de carregamento do site.
- Otimização do uso do servidor - o bloqueio de bots que estão desperdiçando recursos limpará seu servidor e reduzirá os erros 404.
Quando usar a tag Meta Noindex em vez de Robots.txt
Se o seu objetivo principal for impedir que determinadas páginas sejam incluídas nos resultados dos mecanismos de pesquisa, o uso de uma meta tag noindex é a abordagem adequada.
Isso ocorre porque o robots.txt não está dizendo diretamente aos mecanismos de pesquisa para não indexarem o conteúdo, mas apenas para não o rastrearem.
Em outras palavras, você pode usar o robots.txt para adicionar regras específicas sobre como os mecanismos de pesquisa e outros bots interagem com o seu site, mas ele não controlará explicitamente se o seu conteúdo será indexado ou não.
Dito isso, vamos mostrar a você como editar facilmente o arquivo robots.txt no WordPress, passo a passo, usando o AIOSEO.
Editando seu Robots.txt no WordPress usando o AIOSEO
A maneira mais fácil de editar o arquivo robots.txt é usar o melhor plug-in de SEO para WordPress, o All in One SEO (AIOSEO).
O AIOSEO é um plug-in de SEO poderoso e fácil de usar que conta com mais de 3 milhões de usuários. Isso significa que milhões de blogueiros inteligentes usam o AIOSEO para ajudá-los a aumentar suas classificações nos mecanismos de busca e direcionar tráfego qualificado para seus blogs. Isso ocorre porque o plug-in tem muitos recursos e módulos avançados projetados para ajudá-lo a definir corretamente suas configurações de SEO. Os exemplos incluem:
- Estatísticas de pesquisa: Essa poderosa integração com o Google Search Console permite que você acompanhe suas classificações de palavras-chave e veja métricas importantes de SEO com um clique e muito mais.
- Gerador de esquema de última geração: Esse gerador de esquema sem código permite que os usuários gerem e produzam qualquer marcação de esquema em seu site.
- Redirection Manager: Ajuda a gerenciar redirecionamentos e a eliminar erros 404, facilitando o rastreamento e a indexação do seu site pelos mecanismos de pesquisa.
- Link Assistant: poderosa ferramenta de links internos que automatiza a criação de links entre as páginas do seu site. Ele também fornece uma auditoria dos links de saída.
- Visualização de SEO: Fornece uma visão geral dos snippets sociais e de pesquisa e do SEO geral para que você possa aprimorar sua otimização.
- IndexNow: Para indexação rápida em mecanismos de pesquisa que suportam o protocolo IndexNow (como Bing e Yandex).
- Gerador de mapa do site: Gera automaticamente diferentes tipos de sitemaps para notificar todos os mecanismos de pesquisa sobre quaisquer atualizações em seu site.
- E mais.
Um dos motivos pelos quais os usuários adoram o plug-in é que ele oferece maior controle sobre como os mecanismos de pesquisa rastreiam o seu site. Isso se deve ao editor avançado do robots.txt, que permite configurar facilmente o arquivo robots.txt, possibilitando que você substitua o arquivo padrão do WordPress.
Confira nossa lista dos melhores geradores de robots.txt.
Confira nossa lista dos melhores geradores de robots.txt.
Então, vamos começar a editar seu arquivo robots.txt.
Para editar seu arquivo Robots.txt, primeiro ative o Robots.txt personalizado
Para editar o arquivo robots.txt, clique em Tools (Ferramentas ) no menu All in One SEO e, em seguida, clique na guia Robots.txt Editor.
O AIOSEO gerará um arquivo robots.txt dinâmico. Seu conteúdo é armazenado no banco de dados do WordPress e pode ser visualizado no navegador da Web, como mostraremos em breve.
Depois de entrar no Robots.txt Editor, você precisa habilitar o Custom Robots.txt.
Clique no botão para que ele fique azul.
Em seguida, você verá a seção Robots.txt Preview na parte inferior da tela, que mostra as regras padrão do WordPress que podem ser substituídas pelas suas próprias regras. As regras padrão dizem aos robôs para não rastrear seus arquivos principais do WordPress (páginas de administração).
Agora, vamos adicionar suas próprias regras. Você pode fazer isso de duas maneiras: usando o construtor de regras ou importando um arquivo robots.txt de outro site.
Método 1: Adicionar regras usando o construtor de regras
O construtor de regras é usado para adicionar suas próprias regras personalizadas sobre quais páginas os robôs devem rastrear ou não.
Por exemplo, você pode usar o construtor de regras se quiser adicionar uma regra que bloqueie todos os robôs de um diretório temporário.
Para adicionar uma regra personalizada, insira o User Agent (por exemplo, o rastreador Googlebot) no campo User Agent. Ou use o símbolo * para aplicar sua regra a todos os agentes de usuário (robôs).
Em seguida, selecione uma das diretivas predefinidas do robots.txt: Allow, Disallow, Clean-param ou Crawl-delay.
Você também pode adicionar mais diretivas clicando no botão Add Rule (Adicionar regra ).
Depois de decidir a diretiva a ser aplicada, você precisa inserir o caminho do diretório ou o nome do arquivo no campo Value (Valor ).
Depois de fazer isso, você pode clicar no botão Save Changes (Salvar alterações ) no canto inferior direito da página.
Depois de salvar suas novas regras, elas aparecerão na seção Robots.txt Preview (Visualização do Robots.txt ).
Para visualizar seu arquivo robots.txt, clique no botão Open Robots.txt.
Isso o levará ao URL em que o robots.txt está hospedado.
Método 2: Importar regras de outro site
Outra maneira fácil de adicionar diretivas ao seu robots.txt é importá-las de outro site. Essa função é útil se você tiver criado um site ou souber de um site com um arquivo robots.txt que gostaria de replicar.
Para importar um arquivo robots.txt de outro site, acesse o menu AIOSEO e, em seguida, Tools " Robots.txt " Enable Custom Robots.txt.
Em seguida, clique na opção Importar.
Isso abrirá uma janela na qual você poderá colar o URL do site do qual deseja extrair o arquivo robots.txt.
Clique em Importar e você será solicitado a recarregar seu site. Recarregue e o plug-in extrairá o arquivo robots.txt e o implementará em seu site.
Como alternativa, você pode copiar o arquivo robots.txt do site de destino e colá-lo no espaço fornecido. Novamente, clique em Importar, e o arquivo robots.txt será adicionado ao seu site.
Essa é provavelmente a maneira mais fácil de adicionar um arquivo robots.txt personalizado ao seu site WordPress.
Edição das regras do Robots.txt usando o Rule Builder
Para editar suas regras do robots.txt, você pode alterar os detalhes no construtor de regras.
Você também pode excluir uma regra do arquivo robots.txt clicando no ícone da lixeira à direita da regra.
E isso não é tudo! O editor de robots.txt do AIOSEO permite que você mova as regras para cima ou para baixo para colocá-las em ordem de prioridade. Para fazer isso, clique e mantenha pressionados os 6 pontos ao lado da lixeira para arrastar e reposicionar uma regra.
Quando terminar de editar o robots.txt, clique no botão Save Changes (Salvar alterações) para salvar as novas regras.
Funções de edição do Robots.txt de bônus
Bloqueio de bots indesejados ou rastreadores da Web [maneira fácil]
Os rastreadores da Web, também conhecidos como bots ou spiders, são uma faca de dois gumes. Muitos, como os mecanismos de pesquisa, são necessários para o sucesso do seu site. Entretanto, alguns podem simplesmente consumir os recursos do servidor, tornar o site mais lento ou até mesmo roubar seu conteúdo.
Como costumo lidar com isso?
Como não tenho formação técnica, sempre procuro a maneira mais fácil 😜. A maneira mais fácil de impedir que bots indesejados rastreiem seu site é usar o recurso Crawl Cleanup do AIOSEO. Ele vem com configurações que o ajudam a gerenciar o tráfego de bots em seu site.
Esse recurso permite que você selecione os bots que deseja impedir de rastrear seu site. Tudo o que você precisa fazer é selecionar os que deseja bloquear.
Quando você bloqueia um bot indesejado, o AIOSEO edita o arquivo robots.txt com as diretivas disallow. Esse recurso também está incorporado ao editor do robots.txt para facilitar o processo.
Bloqueio de pesquisas internas no site
Os sites geralmente geram URLs desnecessários a partir de pesquisas internas, o que leva ao desperdício de orçamentos de rastreamento e possível spam. Novamente, isso pode ser resolvido facilmente com o Crawl Cleanup do AIOSEO. Tudo o que você precisa fazer é configurar os filtros usando alternâncias.
O AIOSEO permite que você controle como os mecanismos de pesquisa e outros bots interagem com os URLs criados por pesquisas internas no site. Você pode:
- Defina um limite máximo de caracteres para consultas de pesquisa, evitando URLs de pesquisa inchados.
- Filtre automaticamente emojis e caracteres especiais para evitar termos de pesquisa desordenados ou sem sentido.
- Bloqueie padrões comuns de spam, evitando que buscas indesejadas criem URLs indexáveis desnecessários.
Novamente, o AIOSEO edita seu arquivo robots.txt no backend. Como alternativa, você também pode definir essas configurações em seu editor de robots.txt:
Simples assim!
Você editou seu arquivo robots.txt.
Edição de arquivos Robots.txt: Respostas às suas perguntas frequentes
O que é um arquivo robots.txt?
Um arquivo robots.txt é um arquivo de texto que os proprietários de sites usam para se comunicar com os rastreadores ou robôs da Web sobre quais partes do site devem ser rastreadas e indexadas pelos mecanismos de pesquisa.
Onde está localizado o arquivo robots.txt?
O arquivo robots.txt geralmente está localizado no diretório raiz de um site. Seu URL geralmente é https://www.example.com/robots.txt.
Qual é a melhor maneira de editar os arquivos robots.txt?
A melhor maneira de editar seu arquivo robots.txt é usar um plug-in como o All In One SEO (AIOSEO). Ele é o melhor plugin de SEO para WordPress e tem um editor avançado de robots.txt que torna a otimização de arquivos robots.txt muito fácil.
Esperamos que este tutorial tenha lhe mostrado como editar facilmente um arquivo robots.txt no WordPress. Talvez você também queira conferir outros artigos em nosso blog, como nossas dicas sobre como ser indexado no Google ou nosso guia sobre como usar as estatísticas de pesquisa para aumentar suas classificações.
Se você achou este artigo útil, inscreva-se em nosso canal do YouTube. Você encontrará muitos outros tutoriais úteis lá. Você também pode nos seguir no X (Twitter), no LinkedIn ou no Facebook para ficar por dentro das novidades.
Quer experimentar o AIOSEO gratuitamente?
Digite o URL do seu site WordPress para instalar o AIOSEO Lite.
Divulgação: Nosso conteúdo é apoiado pelo leitor. Isso significa que, se você clicar em alguns de nossos links, poderemos receber uma comissão. Recomendamos apenas produtos que acreditamos que agregarão valor aos nossos leitores.
Olá, obrigado pelo artigo.
Li recentemente seu artigo sobre a deterioração do conteúdo. Um de nossos problemas é a velocidade da página e tenho trabalhado para reduzir o tempo de carregamento da velocidade. No entanto, não sou profissional em codificação ou em qualquer coisa remotamente relacionada a assuntos técnicos. Normalmente, lido com marketing e design.
Portanto, com esse histórico, minha pergunta é a seguinte: ao fazer upload de imagens e escrever suas legendas e tags alt, quero que elas apareçam nas buscas de imagens, mas não quero causar inchaço no índice.
Há alguma tática que você recomenda que eu use para evitar isso? Já desativei o sitemap de imagens (hoje mesmo), depois de ler que isso não é necessário e não removerá minhas imagens atuais do site.
Isso também me leva a fazer uma segunda pergunta: como saberei (como alguém que não sabe ler html, js ou algo do gênero) se a desativação do mapa do site de imagens foi eficaz para melhorar a velocidade de carregamento? Obrigado pela ajuda!