Directivas del Rastreador

Las directivas del rastreador, también conocidas como directivas de robots o directivas de robots.txt, son instrucciones dadas a los rastreadores web o bots de motores de búsqueda para regular su comportamiento de rastreo en un sitio web. Estas directivas se implementan típicamente a través de un archivo robots.txt colocado en el directorio raíz de un sitio web y pueden especificar qué partes del sitio deben rastrearse o no, así como otras restricciones como el retraso del rastreo.