Resolvendo Indexado, embora bloqueado por robots.txt no Google Search Console

Ao gerenciar o SEO do seu site, você pode encontrar Indexado, mas bloqueado pelo robots.txt no relatório de Indexação do Google Search Console. 

Isso informa que uma página está indexada pelo Google, mas bloqueada para rastreamento devido a regras no seu arquivo robots.txt. Embora essa situação nem sempre seja problemática, ela pode levar a uma indexação incompleta ou imprecisa.

Neste artigo, explicaremos o que isso significa, por que ocorre e como resolvê-lo usando o All in One SEO.

Entendendo o Status Indexado, mas Bloqueado pelo robots.txt

O status Indexado, mas bloqueado pelo robots.txt surge quando o Google indexa uma página com sucesso, mas não consegue rastrear seu conteúdo devido a uma regra no seu arquivo robots.txt. Rastreamento e indexação são processos distintos:

• Rastreamento é como os mecanismos de busca acessam e analisam o conteúdo do seu site.
• Indexação envolve adicionar a página ao banco de dados do mecanismo de busca para que ela possa aparecer nos resultados de pesquisa.

Quando uma página é bloqueada para rastreamento, o Google pode indexá-la usando apenas metadados ou informações de links externos, levando a uma indexação incompleta.

Identificando o status Indexado, mas Bloqueado pelo robots.txt no Google Search Console

Para identificar páginas com o status Indexado, mas bloqueado pelo robots.txt no Google Search Console (GSC), siga estas etapas:

1. Faça login na sua conta do Google Search Console e selecione a propriedade (site) apropriada no menu suspenso Pesquisar propriedade (se você gerencia vários sites).
   
2. Clique em Páginas em Indexação na barra lateral esquerda.

3. No relatório Indexação de páginas, role para baixo até a seção Melhorar a aparência da página e procure por Indexado, mas bloqueado pelo robots.txt. Clique nele para ver uma lista detalhada de todas as páginas sinalizadas por esse motivo.

4. Após clicar em Indexado, mas bloqueado pelo robots.txt, role para baixo até a seção Exemplos para ver a lista de URLs afetados. Isso ajudará você a entender se isso é intencional ou se há problemas, como links quebrados ou tipos de redirecionamento incorretos.

Como Encontrar o Status Indexado, Mas Bloqueado Pelo robots.txt Usando o Status do Índice no Recurso de Estatísticas de Pesquisa do All in One SEO

O recurso Status de Indexação permite que você veja os erros do Google Search Console diretamente no seu painel do WordPress. Para fazer isso, siga estas etapas:

1. Clique em ​Search Statistics no menu All in One SEO e, em seguida, clique na guia SEO Statistics. 

2. No relatório Desempenho de Conteúdo, você encontrará uma coluna chamada Indexado, que mostra o status de indexação de suas páginas usando ícones codificados por cores.

3. Se algum desses ícones estiver laranja ou vermelho, passe o mouse sobre eles para revelar um pop-up detalhado. Se o problema for o status Indexado, mas bloqueado pelo robots.txt, o pop-up fornecerá informações específicas, como detalhes sobre o redirecionamento.

4. Alternativamente, navegue até a tela Todos os Posts ou Todas as Páginas no WordPress. A coluna Detalhes do AIOSEO nesta página exibe os mesmos ícones de status de indexação do relatório Desempenho de Conteúdo. Passar o mouse sobre um ícone aqui também mostrará detalhes de quaisquer erros.

Usando esses métodos no All in One SEO, você pode localizar e resolver efetivamente os URLs afetados pelo status Indexado, mas bloqueado pelo robots.txt, garantindo uma experiência de usuário tranquila e uma indexação ideal para o seu site. Você pode aprender mais sobre Verificando o Status de Indexação de Conteúdo em nosso artigo aqui.

Como Corrigir o Status Indexado, Mas Bloqueado pelo robots.txt com o AIOSEO

O AIOSEO fornece ferramentas poderosas para diagnosticar e resolver problemas de robots.txt. Siga estas etapas:

• Atualizando Suas Regras do robots.txt

Se a página afetada deve ser indexada e rastreada, você precisará atualizar seu arquivo robots.txt. Você pode acessar o Editor do Robots.txt indo para a seção Ferramentas no menu All in One SEO do seu painel do WordPress. Aqui, você pode visualizar e editar seu arquivo robots.txt diretamente.

Procure por quaisquer regras de 'disallow' que possam estar impedindo o Googlebot de acessar a página afetada. Por exemplo: Disallow: /pagina-exemplo/

Se a página deve estar acessível, modifique ou remova a regra. Salve as alterações para aplicar as atualizações.

• Editando Regras Usando o Construtor de Regras

Para editar qualquer regra que você adicionou, basta alterar os detalhes no construtor de regras e clicar no botão Salvar Alterações.

• Excluindo uma Regra no Construtor de Regras

Para excluir uma regra que você adicionou, clique no ícone de lixeira à direita da regra.

Você pode ler nosso artigo Usando a Ferramenta Robots.txt no All in One SEO para saber mais.

• Teste o Bloqueio do seu robots.txt Usando a Ferramenta de Inspeção de URL do GSC

Agora que você atualizou seu arquivo robots.txt, pode testar se o Google ainda está bloqueado de rastrear a página usando a Ferramenta de Inspeção de URL do Google Search Console.

1. Faça login no Google Search Console e use a barra de pesquisa no topo para inspecionar a URL afetada.
2. Após a inspeção inicial, clique no botão TESTAR URL ATIVA no canto superior direito. Isso mostra como o Googlebot vê a página atualmente.
3. Aguarde a conclusão do teste ativo.
4. No resultado do teste ativo, verifique o status Rastreamento permitido?.

• Se mostrar Sim, sua correção no robots.txt foi bem-sucedida e o Google agora pode rastrear a página.
• Se ainda mostrar Não, expanda a seção Erro de rastreamento e verifique os detalhes de Bloqueio por Robots.txt. Talvez você precise revisitar o Editor de Robots.txt no AIOSEO para fazer ajustes adicionais.
  

• Aplicando Tags Meta Noindex para Páginas Indesejadas

Quando você deseja que uma página seja excluída dos resultados de pesquisa, é essencial usar uma diretiva Meta de Robôs No Index em vez de confiar em regras de robots.txt. A principal distinção aqui é que o robots.txt gerencia apenas o rastreamento, não a indexação. Rastreamento e indexação são dois processos separados.

Por exemplo, bloquear uma página no robots.txt impede que os mecanismos de pesquisa a acessem, mas não impede que a página seja indexada se ela já foi descoberta por outros meios, como backlinks.

Para garantir que uma página não seja indexada, você deve adicionar uma tag Meta de Robôs No Index. Isso informa aos mecanismos de pesquisa para excluir a página dos resultados de pesquisa. No entanto, se você bloquear a mesma página no robots.txt, mecanismos de pesquisa como o Google não poderão rastreá-la para ver a diretiva No Index. Como resultado, a página pode permanecer indexada porque os mecanismos de pesquisa não estão cientes da diretiva.

Por exemplo, imagine que você tem uma página que não deseja indexar. Se você a bloquear no robots.txt e adicionar uma tag No Index, os mecanismos de pesquisa não rastrearão a página para reconhecer a diretiva No Index, o que anula seu propósito. 

Em vez disso, você deve permitir que os mecanismos de busca rastreiem a página, para que possam detectar a meta tag No Index (Não Indexar) e removê-la de seus índices.

Cenário de Exemplo:

• Método Correto: Permita que os mecanismos de busca rastreiem um URL, como https://example.com/informacao-privada, e adicione uma tag No Index (Não Indexar) no cabeçalho da página.
• Método Incorreto: Bloqueie https://example.com/informacao-privada no robots.txt e adicione uma tag No Index (Não Indexar) simultaneamente.

Por fim, o robots.txt é mais adequado para bloquear arquivos como PDFs, imagens ou feeds, onde a adição de uma diretiva No Index (Não Indexar) não é possível. Por exemplo, você pode bloquear https://example.com/arquivos/documento.pdf no robots.txt porque PDFs não suportam tags de Meta Robots.

Para adicionar uma tag noindex a uma página, edite a página no WordPress e role até a seção Configurações do AIOSEO. Na aba Avançado, você verá uma configuração para Configurações de Robots com um controle deslizante definido como Usar Configurações Padrão.

Altere o controle deslizante para desativado e você verá algumas caixas de seleção sob o título Meta de Robots.

Marque a caixa No Index (Não Indexar) e clique no botão Atualizar do seu post. Este post não será indexado pelos mecanismos de busca e não aparecerá nos resultados de pesquisa. Este processo pode levar algum tempo para o Google desindexar seus URLs.

• Lidando com Links Externos para Páginas Bloqueadas

Se sites externos linkarem para uma página bloqueada, o Google ainda poderá indexá-la usando dados limitados. Para resolver isso, entre em contato com o site externo e solicite que eles atualizem o link para um URL mais relevante. Alternativamente, use o Gerenciador de Redirecionamento do AIOSEO para criar um redirecionamento 301 da página bloqueada para um URL adequado. Isso garante que tanto usuários quanto mecanismos de busca sejam direcionados para o conteúdo correto.

• Peça ao Google para Revalidar Seus URLs

Após aplicar essas correções, faça login no seu Google Search Console e use a Ferramenta de Inspeção de URL para testar o URL afetado.

Clique em Solicitar Indexação para notificar o Google sobre as alterações. Esta etapa solicita ao Google que rastreie novamente a página e atualize seu status de acordo.

Se você resolveu todas as instâncias do erro, pode pedir ao Google para revalidar seus URLs em massa. Na página Indexação de Páginas no Google Search Console, clique no botão Validar Correção. Isso informa ao Google que os problemas foram resolvidos e os URLs estão prontos para indexação.

Ocasionalmente, o Google pode relatar falsos positivos. Nesses casos, a revalidação garante que esses URLs sejam revisados novamente.

Evitando Problemas Semelhantes no Futuro

Para evitar que este erro ocorra novamente:

• Revise regularmente seu arquivo robots.txt para garantir que ele esteja alinhado com seus objetivos de indexação.
• Use tags Meta Noindex para páginas que não devem aparecer nos resultados de pesquisa, em vez de bloqueá-las no robots.txt.
• Monitore os problemas de rastreamento e indexação do seu site usando o Google Search Console e as ferramentas integradas do AIOSEO.

O erro “Indexado, embora bloqueado pelo robots.txt” pode ser resolvido atualizando seu arquivo robots.txt, ajustando meta-diretivas ou gerenciando links externos. Ao alavancar as ferramentas abrangentes da AIOSEO, você pode resolver esses problemas de forma eficaz e manter um site saudável e otimizado.