Indexada, aunque bloqueada por robots.txt en Google Search Console

Al gestionar el SEO de tu sitio web, es posible que encuentres Indexada, aunque bloqueada por robots.txt en el informe de Indexación de Google Search Console. 

Esto te indica que una página está indexada por Google pero no se puede rastrear debido a las reglas de tu archivo robots.txt. Aunque esta situación no siempre es problemática, puede dar lugar a una indexación incompleta o inexacta.

En este artículo, explicaremos qué significa esto, por qué ocurre y cómo solucionarlo utilizando All in One SEO.

Comprender el estado Indexada, aunque bloqueada por robots.txt

El estado Indexada, aunque bloqueada por robots.txt surge cuando Google indexa correctamente una página pero no puede rastrear su contenido debido a una regla en tu archivo robots.txt. El rastreo y la indexación son procesos distintos:

• Rastreo es cómo los motores de búsqueda acceden y analizan el contenido de tu sitio.
• Indexación implica añadir la página a la base de datos del motor de búsqueda para que pueda aparecer en los resultados de búsqueda.

Cuando una página está bloqueada para el rastreo, Google puede indexarla utilizando solo metadatos o información de enlaces externos, lo que lleva a una indexación incompleta.

Identificar el estado Indexada, aunque bloqueada por robots.txt en Google Search Console

Para identificar páginas con el estado Indexada, aunque bloqueada por robots.txt en Google Search Console (GSC), sigue estos pasos:

1. Inicie sesión en su cuenta de Google Search Console y seleccione la propiedad (sitio web) adecuada en el menú desplegable Buscar propiedad (si administra varios sitios web).
   
2. Haga clic en Páginas en Indexación en la barra lateral izquierda.

3. En el informe de Indexación de páginas, desplázate hacia abajo hasta la sección Mejorar la apariencia de la página y busca Indexada, aunque bloqueada por robots.txt. Haz clic en ella para ver una lista detallada de todas las páginas marcadas por este motivo.

4. Después de hacer clic en Indexada, aunque bloqueada por robots.txt, desplázate hacia abajo hasta la sección Ejemplos para ver la lista de URLs afectadas. Esto te ayudará a comprender si es intencional o si hay problemas, como enlaces rotos o tipos de redirección incorrectos.

Cómo encontrar el estado Indexada, aunque bloqueada por robots.txt utilizando el estado de indexación en la función de estadísticas de búsqueda de All in One SEO

La función Estado de indexación te permite ver los errores de Google Search Console directamente en tu panel de WordPress. Para ello, sigue estos pasos:

1. Haz clic en ​Estadísticas de búsqueda en el menú All in One SEO y luego haz clic en la pestaña Estadísticas SEO. 

2. En el informe Rendimiento del contenido, encontrarás una columna llamada Indexado, que muestra el estado de indexación de tus páginas utilizando iconos codificados por colores.

3. Si alguno de estos iconos es naranja o rojo, pasa el ratón por encima para revelar una ventana emergente detallada. Si el problema es un estado Indexada, aunque bloqueada por robots.txt, la ventana emergente proporcionará información específica, como detalles sobre la redirección.

4. Alternativamente, navega a la pantalla Todas las entradas o Todas las páginas en WordPress. La columna Detalles de AIOSEO en esta página muestra los mismos iconos de estado de indexación que el informe Rendimiento del contenido. Colocar el cursor sobre un icono aquí también mostrará detalles de cualquier error.

Al utilizar estos métodos en All in One SEO, puede localizar y abordar eficazmente las URL afectadas por el estado Indexada, aunque bloqueada por robots.txt, garantizando una experiencia de usuario fluida y una indexación óptima para su sitio. Puede obtener más información sobre Cómo comprobar el estado de indexación del contenido en nuestro artículo aquí.

Cómo solucionar el estado Indexada, aunque bloqueada por robots.txt con AIOSEO

AIOSEO proporciona potentes herramientas para diagnosticar y abordar problemas de robots.txt. Siga estos pasos:

• Actualización de sus reglas de robots.txt

Si la página afectada debe ser indexada y rastreada, deberá actualizar su archivo robots.txt. Puede acceder al Editor de Robots.txt yendo a la sección Herramientas en el menú All in One SEO de su panel de WordPress. Aquí, puede ver y editar su archivo robots.txt directamente.

Busque cualquier regla de 'disallow' que pueda estar impidiendo que Googlebot acceda a la página afectada. Por ejemplo: Disallow: /pagina-ejemplo/

Si la página debe ser accesible, modifique o elimine la regla. Guarde los cambios para aplicar las actualizaciones.

• Edición de reglas usando el constructor de reglas

Para editar cualquier regla que haya añadido, simplemente cambie los detalles en el constructor de reglas y haga clic en el botón Guardar Cambios.

• Eliminación de una regla en el constructor de reglas

Para eliminar una regla que hayas agregado, haz clic en el icono de la papelera a la derecha de la regla.

Puede leer nuestro artículo Uso de la Herramienta Robots.txt en All in One SEO para obtener más información.

• Pruebe su bloqueo de robots.txt utilizando la Herramienta de Inspección de URL de GSC

Ahora que ha actualizado su archivo robots.txt, puede probar si Google todavía tiene bloqueado el rastreo de la página utilizando la Herramienta de Inspección de URL de Google Search Console.

1. Inicie sesión en Google Search Console y utilice la barra de búsqueda en la parte superior para inspeccionar la URL afectada.
2. Después de la inspección inicial, haga clic en el botón PROBAR URL EN VIVO en la esquina superior derecha. Esto muestra cómo Googlebot ve la página actualmente.
3. Espere a que la prueba en vivo se complete.
4. En el resultado de la prueba en vivo, compruebe el estado ¿Rastreo permitido?.

• Si muestra Sí, su corrección de robots.txt fue exitosa y Google ahora puede rastrear la página.
• Si todavía muestra No, expanda la sección Error de rastreo y compruebe los detalles de Bloqueo de robots.txt. Es posible que deba volver a visitar el Editor de Robots.txt en AIOSEO para realizar ajustes adicionales.
  

• Aplicación de etiquetas meta Noindex para páginas no deseadas

Cuando desee que una página se excluya de los resultados de búsqueda, es esencial utilizar una directiva Meta de Robots No Index en lugar de depender de las reglas de robots.txt. La distinción clave aquí es que robots.txt solo gestiona el rastreo, no la indexación. El rastreo y la indexación son dos procesos separados.

Por ejemplo, bloquear una página en robots.txt impide que los motores de búsqueda accedan a ella, pero no evita que la página sea indexada si ya ha sido descubierta a través de otros medios, como los backlinks.

Para asegurar que una página no sea indexada, debes a tilde;adir una etiqueta Meta de Robots No Indexar. Esto le dice a los motores de b étairesqueda que excluyan la p étairegina de los resultados de b étairesqueda. Sin embargo, si bloqueas la misma p étairegina en robots.txt, los motores de b étairesqueda como Google no podr étairen rastrearla para ver la directiva No Indexar. Como resultado, la p étairegina podr étairea permanecer indexada porque los motores de b étairesqueda no est étairen al tanto de la directiva.

Por ejemplo, imagina que tienes una p étairegina que no quieres que sea indexada. Si la bloqueas en robots.txt y a tilde;ades una etiqueta No Indexar, los motores de b étairesqueda no rastrear étairen la p étairegina para reconocer la directiva No Indexar, lo que anula su prop étairesito. 

En su lugar, deber étaireas permitir que los motores de b étairesqueda rastreen la p étairegina, para que puedan detectar la Meta de Robots No Indexar y eliminarla de su étairendice.

Escenario de Ejemplo:

• M étairetodo Correcto: Permite que los motores de b étairesqueda rastreen una URL, como https://example.com/private-info, y a tilde;ade una etiqueta No Indexar en la cabecera de la p étairegina.
• M étairetodo Incorrecto: Bloquea https://example.com/private-info en robots.txt y a tilde;ade una etiqueta No Indexar simult étaireneamente.

Finalmente, robots.txt se usa mejor para bloquear archivos como PDF, im étairegenes o feeds, donde no es posible a tilde;adir una directiva No Indexar. Por ejemplo, podr étaireas bloquear https://example.com/files/document.pdf en robots.txt porque los PDF no admiten etiquetas Meta de Robots.

Para a tilde;adir una etiqueta noindex a una p étairegina, edita la p étairegina en WordPress y despl étairezate hasta la secci étairen de Ajustes de AIOSEO. Debajo de la pesta tilde;a Avanzado, ver étaires un ajuste para Ajustes de Robots con un interruptor que est étaire configurado en Usar Ajustes Predeterminados.

Cambia el interruptor a apagado, y ver étaires algunas casillas de verificaci étairen bajo el encabezado Meta de Robots.

Marca la casilla de No Indexar y haz clic en el bot étairen Actualizar de tu entrada. Esta entrada no ser étaire indexada por los motores de b étairesqueda y no aparecer étaire en los resultados de b étairesqueda. Este proceso puede tardar un tiempo para que Google desindexe tus URLs.

• Gestión de Enlaces Externos a P étaireginas Bloqueadas

Si sitios externos enlazan a una p étairegina bloqueada, Google a étairen podr étairea indexarla usando datos limitados. Para resolver esto, contacta al sitio externo y solicita que actualicen su enlace a una URL m étaires relevante. Alternativamente, usa el Administrador de Redirecciones de AIOSEO para crear una redirecci étairen 301 desde la p étairegina bloqueada a una URL adecuada. Esto asegura que tanto los usuarios como los motores de b étairesqueda sean dirigidos al contenido correcto.

• Solicitar a Google la Revalidaci étairen de tus URLs

Tras aplicar estas correcciones, inicia sesi ilde{A³}n en tu Google Search Console y utiliza la Herramienta de inspecci ilde{A³}n de URLs para probar la URL afectada.

Haz clic en Solicitar indexaci ilde{A³}n para notificar a Google sobre los cambios. Este paso solicita a Google que vuelva a rastrear la p ilde{A}gina y actualice su estado en consecuencia.

Si has resuelto todas las instancias del error, puedes solicitar a Google que revalide tus URLs en bloque. En la p ilde{A}gina Indexaci ilde{A³}n de p ilde{A}ginas de Google Search Console, haz clic en el bot ilde{A³}n Validar correcci ilde{A³}n. Esto informa a Google que los problemas se han abordado y que las URLs est ilde{A}n listas para ser indexadas.

Ocasionalmente, Google puede informar falsos positivos. En tales casos, la revalidación asegura que estas URLs se revisen nuevamente.

Evitar problemas similares en el futuro

Para evitar que este error se repita:

• Revisa regularmente tu archivo robots.txt para asegurarte de que se alinea con tus objetivos de indexaci ilde{A³}n.
• Utiliza etiquetas Meta Noindex para las p ilde{A}ginas que no deben aparecer en los resultados de b ilde{A}squeda, en lugar de bloquearlas en robots.txt.
• Supervisa los problemas de rastreo e indexaci ilde{A³}n de tu sitio utilizando Google Search Console y las herramientas integradas de AIOSEO.

El error "Indexada, aunque bloqueada por robots.txt" se puede resolver actualizando tu archivo robots.txt, ajustando las directivas meta o gestionando enlaces externos. Al aprovechar las herramientas integrales de AIOSEO, puedes abordar estos problemas de manera efectiva y mantener un sitio web saludable y optimizado.