クローラーディレクティブ

クローラーディレクティブは、ロボットディレクティブまたはrobots.txtディレクティブとも呼ばれ、ウェブサイトのクロール動作を規制するためにウェブクローラーまたは検索エンジンボットに与えられる指示です。これらのディレクティブは通常、ウェブサイトのルートディレクトリに配置されたrobots.txtファイルを通じて実装され、サイトのどの部分をクロールすべきか、またはクロールすべきでないかを指定できるほか、クロール遅延などのその他の制約も指定できます。