Una de las preguntas que más nos hacen es cuál es la diferencia entre la etiqueta meta robots NOINDEX y robots.txt, y cuándo debe usarse cada una. Este artículo aborda esta pregunta.
En este artículo
La etiqueta meta robots NOINDEX
La etiqueta NOINDEX se utiliza para evitar que el contenido aparezca en los resultados de búsqueda. La etiqueta meta NOINDEX aparece en el código fuente de tu contenido y le dice a un motor de búsqueda que no incluya ese contenido en los resultados de búsqueda.
La etiqueta meta robots NOINDEX se ve así en el código fuente de tu página:
<meta name="robots" content="noindex" />
El archivo robots.txt
El archivo robots.txt le dice a los motores de búsqueda dónde sus rastreadores pueden y no pueden ir en un sitio web. Incluye directivas "Permitir" y "Denegar" que guían a un motor de búsqueda sobre qué directorios y archivos debe o no rastrear.
Sin embargo, no evita que tu contenido se incluya en los resultados de búsqueda. Además, si el directorio o archivo bloqueado está enlazado desde cualquier página de tu sitio web o de otro sitio web, los motores de búsqueda aún pueden rastrearlos.
Un ejemplo de cómo usarías el archivo robots.txt es para indicar a los motores de búsqueda que no rastreen el directorio "/cgi-bin/" que puede existir en tu servidor, porque no hay nada en el directorio que sea útil para los motores de búsqueda.
El robots.txt predeterminado para WordPress se ve así:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
La diferencia entre NOINDEX y robots.txt
La diferencia entre los dos es la siguiente:
- El archivo robots.txt se utiliza para guiar a un motor de búsqueda sobre qué directorios y archivos debe rastrear. No evita que el contenido se indexe y se incluya en los resultados de búsqueda.
- La etiqueta meta robots NOINDEX le dice a los motores de búsqueda que no incluyan el contenido en los resultados de búsqueda y, si el contenido ya ha sido indexado previamente, entonces deben eliminar el contenido por completo. No evita que los motores de búsqueda rastreen el contenido.
La mayor diferencia a entender es que si quieres que los motores de búsqueda no incluyan contenido en los resultados de búsqueda, entonces DEBES usar la etiqueta NOINDEX y DEBES permitir que los motores de búsqueda rastreen el contenido. Si los motores de búsqueda NO PUEDEN rastrear el contenido, entonces NO PUEDEN ver la etiqueta meta NOINDEX y, por lo tanto, NO PUEDEN excluir el contenido de los resultados de búsqueda.
Por lo tanto, si quieres que el contenido no se incluya en los resultados de búsqueda, usa NOINDEX. Si quieres evitar que los motores de búsqueda rastreen un directorio en tu servidor porque no contiene nada que necesiten ver, usa la directiva "Denegar" en tu archivo robots.txt.
Puedes encontrar documentación sobre el uso de la función NOINDEX en All in One SEO en nuestro artículo sobre Mostrar u ocultar tu contenido en los resultados de búsqueda aquí.
Puedes encontrar documentación sobre el uso de la función Robots.txt en All in One SEO en nuestro artículo sobre Usar la herramienta Robots.txt en All in One SEO aquí.