¿Le gustaría saber cómo editar los archivos robots.txt en WordPress?
Antes me intimidaba editar archivos robots.txt en WordPress. Como alguien que ha construido y administrado más de una docena de sitios de WordPress, recuerdo mirar fijamente a mi pantalla, preocupado de que un movimiento en falso pudiera estropear el SEO de mi sitio.
El archivo robots.txt puede parecer aterrador, pero en realidad es un simple archivo de texto que indica a los motores de búsqueda a qué partes de tu sitio pueden acceder y a cuáles no. Tras años trabajando con WordPress, he aprendido que editar este archivo no tiene por qué ser complicado en absoluto.
En esta guía paso a paso, le mostraré las formas más fáciles y seguras de editar su archivo robots.txt en WordPress. Tanto si quieres bloquear ciertas páginas de los motores de búsqueda como solucionar problemas de SEO, aprenderás exactamente qué hacer.
No te preocupes, te guiaré paso a paso para que no rompas nada.
En este artículo
¿Qué es un archivo Robots.txt?
Un archivo robots.txt indica a los motores de búsqueda cómo rastrear su sitio, dónde pueden hacerlo y dónde no.
Los motores de búsqueda como Google utilizan estos rastreadores web, a veces denominados robots web, para archivar y clasificar los sitios web.
La mayoría de los robots están configurados para buscar un archivo robots.txt en el servidor antes de leer cualquier otro archivo de su sitio. Lo hacen para ver si ha añadido instrucciones especiales sobre cómo rastrear e indexar su sitio.
El archivo robots.txt suele almacenarse en el directorio raíz, también conocido como la carpeta principal de su sitio web.
La URL puede tener este aspecto
http://www.example.com/robots.txt
Para comprobar el archivo robots.txt de su sitio web, sólo tiene que sustituir http://www.example.com/ por su dominio y añadir robots.txt al final.
Veamos ahora cómo es el formato básico de un archivo robots.txt:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
El agente de usuario se refiere al bot o robot del motor de búsqueda que desea bloquear o permitir que rastree su sitio (por ejemplo, el rastreador Googlebot ).
Al editar su archivo robots.txt, puede incluir múltiples instrucciones para Permitir o No Permitir URLs específicas, además de añadir múltiples sitemaps. También puede excluir parámetros de URL mediante la directiva Clean-param y establecer la frecuencia de visitas de los robots de búsqueda mediante la directiva Crawl-delay.
Archivo Robots.txt predeterminado en WordPress
Por defecto, WordPress crea automáticamente un archivo robots.txt para su sitio. Así que, aunque no muevas un dedo, tu sitio ya debería tener el archivo robots.txt predeterminado de WordPress.
Pero cuando más tarde lo personalizas con tus propias reglas, el contenido por defecto es reemplazado.
Este es el aspecto del archivo robots.txt predeterminado de WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
El asterisco después de User-agent: * significa que el archivo robots.txt es para todos los robots web que visiten su sitio. Como ya se ha mencionado, Disallow: /wp-admin/ indica a los robots que no visiten su página wp-admin.
Puede probar su archivo robots.txt añadiendo /robots.txt al final del nombre de su dominio. Por ejemplo, si introduce "https://aioseo.com/robots.txt" en su navegador web, se mostrará el archivo robots.txt de AIOSEO:
Ahora que ya sabe qué es un archivo robots.txt y cómo funciona, veamos en primer lugar por qué es importante el archivo robots.txt.
¿Por qué es importante el archivo Robots.txt?
El archivo robots.txt es importante si lo desea:
- Optimice la velocidad de carga de su sitio: si indica a los robots que no pierdan tiempo en páginas que no desea que rastreen e indexen, puede liberar recursos y aumentar la velocidad de carga de su sitio.
- Optimización del uso de su servidor: el bloqueo de bots que malgastan recursos limpiará su servidor y reducirá los errores 404.
Cuándo utilizar la etiqueta Meta Noindex en lugar de Robots.txt
Si su objetivo principal es impedir que determinadas páginas aparezcan en los resultados de los motores de búsqueda, lo más adecuado es utilizar una metaetiqueta noindex.
Esto se debe a que el robots.txt no indica directamente a los motores de búsqueda que no indexen el contenido, sino que simplemente les indica que no lo rastreen.
En otras palabras, puede utilizar robots.txt para añadir reglas específicas sobre cómo los motores de búsqueda y otros robots interactúan con su sitio, pero no controlará explícitamente si su contenido se indexa o no.
Dicho esto, vamos a mostrarle cómo editar fácilmente su archivo robots.txt en WordPress paso a paso utilizando AIOSEO.
Editar su Robots.txt en WordPress usando AIOSEO
La forma más sencilla de editar el archivo robots.txt es utilizar el mejor plugin SEO para WordPress, All in One SEO (AIOSEO).
AIOSEO es un plugin SEO potente y fácil de usar que cuenta con más de 3 millones de usuarios. Eso significa que millones de bloggers inteligentes utilizan AIOSEO para ayudarles a mejorar su posicionamiento en los motores de búsqueda y atraer tráfico cualificado a sus blogs. Esto se debe a que el plugin tiene muchas características potentes y módulos diseñados para ayudarle a configurar correctamente sus ajustes de SEO. Algunos ejemplos son:
- Estadísticas de búsqueda: Esta potente integración de Google Search Console te permite realizar un seguimiento de tus clasificaciones de palabras clave y ver métricas SEO importantes con 1 clic, y mucho más.
- Generador de esquemas de última generación: Este generador de esquemas sin código permite a los usuarios generar y dar salida a cualquier marcado de esquema en su sitio.
- Gestor de redireccionamientos: Le ayuda a gestionar las redirecciones y a eliminar los errores 404, facilitando a los motores de búsqueda el rastreo y la indexación de su sitio.
- Link Assistant: Potente herramienta de enlaces internos que automatiza la creación de enlaces entre las páginas de su sitio. También le ofrece una auditoría de los enlaces salientes.
- Vista previa SEO: Esto le da una visión general de su búsqueda y fragmentos sociales y SEO general para que pueda mejorar su optimización.
- IndexNow: Para una indexación rápida en los motores de búsqueda que admiten el protocolo IndexNow (como Bing y Yandex).
- Generador de sitemaps: Genera automáticamente diferentes tipos de sitemaps para notificar a todos los motores de búsqueda cualquier actualización de tu sitio.
- Y mucho más.
Uno de los motivos por los que los usuarios adoran este plugin es que permite un mayor control sobre la forma en que los motores de búsqueda rastrean el sitio. Esto es gracias al avanzado editor robots .txt que te permite configurar fácilmente tu archivo robots.txt, permitiéndote anular el archivo predeterminado de WordPress.
Consulte nuestra lista de los mejores generadores de robots.txt.
Consulte nuestra lista de los mejores generadores de robots.txt.
Así pues, vamos a editar su archivo robots.txt.
Para editar su archivo Robots.txt, primero active Robots.txt personalizado
Para editar el archivo robots.txt, haga clic en Herramientas en el menú SEO Todo en uno y, a continuación, en la pestaña Editor de robots.txt.
AIOSEO generará un archivo robots.txt dinámico. Su contenido se almacena en la base de datos de WordPress y se puede ver en el navegador web, como le mostraremos más adelante.
Una vez que haya entrado en el Editor Robots.txt, deberá Activar Robots.txt Personalizados.
Haz clic en el botón para que se vuelva azul.
A continuación, verá la sección Vista previa de Robots.txt en la parte inferior de la pantalla, que muestra las reglas predeterminadas de WordPress que puede sobrescribir con las suyas propias. Las reglas predeterminadas indican a los robots que no rastreen los archivos principales de WordPress (páginas de administración).
Ahora, pasemos a añadir sus propias reglas. Puede hacerlo de dos formas: utilizando el creador de reglas o importando un archivo robots.txt de otro sitio.
Método 1: Añadir reglas mediante el generador de reglas
El generador de reglas se utiliza para añadir sus propias reglas personalizadas para las páginas que los robots deben rastrear o no.
Por ejemplo, puede utilizar el creador de reglas si desea añadir una regla que bloquee todos los robots de un directorio temporal.
Para añadir una regla personalizada, introduzca el agente de usuario (por ejemplo, el rastreador Googlebot) en el campo Agente de usuario. O puede utilizar el símbolo * para aplicar su regla a todos los agentes de usuario (robots).
A continuación, seleccione una de las directivas robots.txt predefinidas: Allow, Disallow, Clean-param, o Crawl-delay.
También puede añadir más directivas pulsando el botón Añadir regla.
Una vez que haya decidido qué directiva aplicar, deberá introducir la ruta del directorio o el nombre del archivo en el campo Valor .
Una vez hecho esto, puede seguir adelante y hacer clic en el botón Guardar cambios en la esquina inferior derecha de la página.
Cuando haya guardado las nuevas reglas, aparecerán en la sección Vista previa de Robots.txt.
Para ver su archivo robots.txt, haga clic en el botón Abrir Robots.txt.
Esto le llevará a la URL donde está alojado su robots.txt.
Método 2: Importar reglas de otro sitio
Otra forma sencilla de añadir directivas en su robots.txt es importarlas de otro sitio. Esta función es útil si ha creado un sitio o conoce uno con un archivo robots.txt que le gustaría replicar.
Para importar un archivo robots.txt de otro sitio, vaya al menú AIOSEO, luego Herramientas " Robots.txt " Activar Robots.txt personalizados.
A continuación, haga clic en la opción Importar.
Se abrirá una ventana en la que podrá pegar la URL del sitio del que desea extraer el archivo robots.txt.
Haga clic en Importar y se le pedirá que recargue su sitio. Recarga y el plugin extraerá el archivo robots.txt y lo implementará en tu sitio.
Alternativamente, puede copiar el archivo robots.txt de su sitio de destino y pegarlo en el espacio proporcionado. De nuevo, haga clic en Importar y el archivo robots.txt se añadirá a su sitio.
Esta es probablemente la forma más sencilla de añadir un archivo robots.txt personalizado a su sitio WordPress.
Edición de las reglas de Robots.txt con el creador de reglas
Para editar sus reglas robots.txt, puede cambiar los detalles en el creador de reglas.
También puede eliminar una regla del archivo robots.txt haciendo clic en el icono de la papelera situado a la derecha de la regla.
¡Y eso no es todo! El editor de robots.txt de AIOSEO le permite mover las reglas hacia arriba o hacia abajo para colocarlas en orden de prioridad. Para ello, haga clic y mantenga pulsados los 6 puntos situados junto a la papelera para arrastrar y reposicionar una regla.
Una vez que haya terminado de editar el archivo robots.txt, haga clic en el botón Guardar cambios para guardar las nuevas reglas.
Funciones adicionales de edición de Robots.txt
Bloqueo de robots o rastreadores web no deseados [Easy Way] (en inglés)
Los rastreadores web, también conocidos como bots o arañas, son un arma de doble filo. Muchos, como los motores de búsqueda, son necesarios para el éxito de su sitio. Sin embargo, algunos pueden absorber los recursos de su servidor, ralentizar su sitio o incluso robar su contenido.
¿Cómo suelo abordar esta situación?
Como no tengo conocimientos técnicos, siempre busco la manera más fácil 😜. La forma más fácil de evitar que bots no deseados rastreen tu sitio es utilizar la función Crawl Cleanup de AIOSEO. Esto viene con ajustes que le ayudan a gestionar el tráfico de bots en su sitio.
Esta función le permite seleccionar los robots que desea impedir que rastreen su sitio. Todo lo que tiene que hacer es seleccionar los que desea bloquear.
Cuando bloquea un bot no deseado, AIOSEO edita el archivo robots.txt con las directivas disallow. Esta función también está integrada en el editor de robots.txt para facilitar esta tarea.
Bloqueo de las búsquedas internas
Los sitios web a menudo generan URLs innecesarias a partir de búsquedas internas, lo que conlleva un desperdicio de crawl budgets y spam potencial. De nuevo, esto puede solucionarse fácilmente utilizando Crawl Cleanup de AIOSEO. Todo lo que tienes que hacer es configurar los filtros usando toggles.
AIOSEO le da el poder de controlar cómo los motores de búsqueda y otros bots interactúan con las URLs creadas por las búsquedas internas del sitio. Usted puede:
- Establezca un límite máximo de caracteres para las consultas de búsqueda, evitando así las URL de búsqueda hinchadas.
- Filtra automáticamente los emojis y caracteres especiales para evitar términos de búsqueda desordenados o sin sentido.
- Bloquea los patrones habituales de spam, evitando que las búsquedas basura creen URL indexables innecesarias.
De nuevo, AIOSEO edita su archivo robots.txt en el backend. Alternativamente, también puede configurar estos ajustes en su editor robots.txt:
Así de sencillo.
Ha editado su archivo robots.txt.
Edición de archivos Robots.txt: Respuestas a sus preguntas más frecuentes
¿Qué es un archivo robots.txt?
Un archivo robots.txt es un archivo de texto que los propietarios de sitios web utilizan para comunicar a los robots o rastreadores web qué partes de su sitio deben ser rastreadas e indexadas por los motores de búsqueda.
¿Dónde se encuentra el archivo robots.txt?
El archivo robots.txt se encuentra normalmente en el directorio raíz de un sitio web. Su URL suele ser https://www.example.com/robots.txt.
¿Cuál es la mejor manera de editar los archivos robots.txt?
La mejor manera de editar su archivo robots.txt es utilizar un plugin como All In One SEO (AIOSEO). Es el mejor plugin SEO para WordPress y tiene un editor avanzado de robots.txt que hace que optimizar los archivos robots.txt sea súper fácil.
Esperamos que este tutorial le haya mostrado cómo editar fácilmente un archivo robots.txt en WordPress. También puedes consultar otros artículos de nuestro blog, como nuestros consejos para indexarte en Google o nuestra guía sobre el uso de las estadísticas de búsqueda para mejorar tu posicionamiento.
Si este artículo te ha resultado útil, suscríbete a nuestro canal de YouTube. Allí encontrarás muchos más tutoriales útiles. También puedes seguirnos en X (Twitter), LinkedIn o Facebook para mantenerte informado.
¿Quieres probar AIOSEO gratis?
Introduzca la URL de su sitio web WordPress para instalar AIOSEO Lite.
Divulgación: Nuestro contenido está apoyado por los lectores. Esto significa que si hace clic en algunos de nuestros enlaces, es posible que ganemos una comisión. Sólo recomendamos productos que creemos que aportarán valor a nuestros lectores.
Hola, gracias por el artículo.
Hace poco leí tu artículo sobre la decadencia del contenido. Uno de nuestros problemas es la velocidad de la página y he estado trabajando para reducir el tiempo de carga. Sin embargo, no soy un profesional de la codificación ni de nada remotamente relacionado con la tecnología. Normalmente me ocupo del marketing y el diseño.
Con estos antecedentes, mi pregunta es la siguiente: cuando subo imágenes y escribo sus pies de foto y etiquetas alt, quiero que aparezcan en los buscadores de imágenes, pero no quiero saturar el índice.
¿Hay alguna táctica que me recomiendes usar para evitar esto? Ya he desactivado el mapa del sitio de imágenes (hoy mismo), después de leer que no es necesario y no eliminará mis imágenes actuales del sitio.
Esto también me lleva a hacer una segunda pregunta-¿cómo voy a saber (como alguien que no sabe leer html, js o cualquier cosa de esa naturaleza) si la desactivación del mapa del sitio de imágenes ha sido eficaz en la mejora de la velocidad de carga? ¡Gracias por la ayuda!