Direttive del crawler

Le direttive del crawler, note anche come direttive robots o direttive robots.txt, sono istruzioni fornite ai crawler web o ai bot dei motori di ricerca per regolarne il comportamento di scansione su un sito web. Queste direttive vengono in genere implementate tramite un file robots.txt collocato nella directory principale di un sito web e possono specificare quali parti del sito debbano essere scansionate o meno, oltre ad altri vincoli come il ritardo di scansione.