ロボットメタタグは、ウェブクローラー（検索エンジンのボットなど）に対して、ウェブページやウェブサイトのインデックス作成とクロールをどのように処理するかを指示するHTML要素です。これらのタグはHTMLドキュメントのセクションに配置され、ウェブロボットの動作を制御するのに役立ちます。
一般的なロボットメタタグとその例をいくつか紹介します。
- robots=”noindex”：検索エンジンにページをインデックスしないように指示します。
例：<meta name="robots" content="noindex"> - robots=“nofollow”：検索エンジンにページ上のリンクをたどらないように指示します。
例：<meta name="robots" content="nofollow"> - robots=“noarchive”：検索エンジンにページをキャッシュまたはアーカイブしないように指示します。
例：<meta name="robots" content="noarchive"> - robots=“nosnippet”：検索エンジンに検索結果でページの抜粋または説明を表示しないように指示します。
例：<meta name="robots" content="nosnippet"> - robots=“all”：検索エンジンにページ上のすべてのリンクをインデックスし、たどるように指示します（デフォルトの動作）。
例：<meta name="robots" content="all"> - robots=“none”：検索エンジンにページをインデックスせず、リンクをたどらず、キャッシュしないように指示します。
例：<meta name="robots" content="none">
これらのタグは、カンマで区切ることによって組み合わせることができます。例：<meta name="robots" content="noindex, nofollow">
ロボットメタタグは、検索エンジンが特定のページやウェブサイトのセクションとどのようにやり取りするかを制御するのに役立ち、ウェブマスターがサイトの可視性とクロール動作を最適化できるようにします。
関連記事：