Crawler-Direktiven

Crawler-Anweisungen, auch bekannt als Roboter-Anweisungen oder robots.txt-Anweisungen, sind Anweisungen für Webcrawler oder Suchmaschinen-Bots, um deren Crawling-Verhalten auf einer Website zu steuern. Diese Anweisungen werden typischerweise über eine robots.txt-Datei im Stammverzeichnis einer Website implementiert und können festlegen, welche Teile der Website gecrawlt werden sollen oder nicht, sowie andere Einschränkungen wie die Crawl-Verzögerung.