Diretivas do Rastreador

Diretivas do rastreador, também conhecidas como diretivas de robôs ou diretivas de robots.txt, são instruções dadas aos rastreadores da web ou bots de mecanismos de pesquisa para regular seu comportamento de rastreamento em um site. Essas diretivas são normalmente implementadas por meio de um arquivo robots.txt colocado no diretório raiz de um site e podem especificar quais partes do site devem ser rastreadas ou não, bem como outras restrições como o atraso do rastreamento.