Una de las preguntas que más nos hacen es cuál es la diferencia entre la metaetiqueta robots NOINDEX y el robots.txt, y cuándo debe utilizarse cada uno. Este artículo aborda esta cuestión.
En este artículo
La metaetiqueta robots NOINDEX
La etiqueta NOINDEX se utiliza para evitar que el contenido aparezca en los resultados de búsqueda. La metaetiqueta NOINDEX aparece en el código fuente de su contenido e indica a un motor de búsqueda que no incluya ese contenido en los resultados de búsqueda.
La metaetiqueta NOINDEX robots tiene el siguiente aspecto en el código fuente de su página:
<meta name="robots" content="noindex" />
El archivo robots.txt
El archivo robots.txt indica a los motores de búsqueda dónde pueden y dónde no pueden ir sus rastreadores en un sitio web. Incluye las directivas "Allow" (permitir) y "Disallow" (no permitir) que indican a los motores de búsqueda qué directorios y archivos deben rastrear y cuáles no.
Sin embargo, no impide que su contenido aparezca en los resultados de búsqueda. Además, si el directorio o archivo bloqueado está enlazado desde cualquier página de su sitio web o de otro sitio web, los motores de búsqueda pueden seguir rastreándolos.
Un ejemplo de cómo utilizar el archivo robots.txt es para indicar a los motores de búsqueda que no rastreen el directorio "/cgi-bin/" que pueda existir en su servidor, porque no hay nada en el directorio que sea útil para los motores de búsqueda.
El robots.txt predeterminado de WordPress tiene este aspecto:
User-agent: * No permitir: /wp-admin/ Permitir: /wp-admin/admin-ajax.php
Diferencia entre NOINDEX y robots.txt
La diferencia entre ambos es la siguiente:
- El archivo robots.txt se utiliza para guiar a un motor de búsqueda sobre qué directorios y archivos debe rastrear. No impide que el contenido se indexe y aparezca en los resultados de búsqueda.
- La metaetiqueta NOINDEX robots indica a los motores de búsqueda que no incluyan contenidos en los resultados de búsqueda y, si el contenido ya ha sido indexado anteriormente, que lo eliminen por completo. No impide que los motores de búsqueda rastreen el contenido.
La mayor diferencia que hay que entender es que si quieres que los motores de búsqueda no incluyan contenido en los resultados de búsqueda, entonces DEBES usar la etiqueta NOINDEX y DEBES permitir que los motores de búsqueda rastreen el contenido. Si los motores de búsqueda NO PUEDEN rastrear el contenido, entonces NO PUEDEN ver la metaetiqueta NOINDEX y, por lo tanto, NO PUEDEN excluir el contenido de los resultados de búsqueda.
Por lo tanto, si desea que el contenido no se incluya en los resultados de búsqueda, utilice NOINDEX. Si desea impedir que los motores de búsqueda rastreen un directorio de su servidor porque no contiene nada que necesiten ver, utilice la directiva "Disallow" en su archivo robots.txt.
Puede encontrar documentación sobre el uso de la función NOINDEX en All in One SEO en nuestro artículo sobre Cómo mostrar u ocultar su contenido en los resultados de búsqueda aquí.
Puede encontrar documentación sobre el uso de la función Robots.txt en All in One SEO en nuestro artículo sobre el uso de la herramienta Robots.txt en All in One SEO aquí.