X-Robots-Tagヘッダーは、ウェブページやリソースのインデックス作成と提供をウェブクローラーや検索エンジンボットがどのように処理すべきかに関する指示を伝えるために使用されるHTTPヘッダーです。これにより、ウェブサイト所有者はページごとまたはリソースごとに、検索結果でのページのインデックス作成と表示を制御できます。
X-Robots-Tagヘッダーには、カンマで区切られた1つ以上のディレクティブを含めることができます。一般的なディレクティブには次のようなものがあります。
- noindex: 検索エンジンにページまたはリソースをインデックスしないように指示します。
- nofollow: 検索エンジンにページ上のリンクをたどらないように指示します。
- noarchive: 検索エンジンにページのキャッシュを表示したり、キャッシュされたバージョンを表示したりしないように指示します。
- nosnippet: 検索エンジンに検索結果でページの抜粋や説明を表示しないように指示します。
- max-snippet:[数値]: 検索結果での抜粋の最大文字数を指定します。
- max-image-preview:[設定]: 検索結果での画像プレビューの最大サイズを指定します（none、standard、large）。
- max-video-preview:[数値]: 検索結果での動画プレビューの最大秒数を指定します。
X-Robots-Tagの使用例：
X-Robots-Tag: noindex, nofollow, max-snippet:150, max-image-preview:standardこの例では、ディレクティブは検索エンジンにページをインデックスしないこと、そのリンクをたどらないこと、抜粋の長さを150文字に制限すること、検索結果に標準サイズの画像プレビューを表示することを指示しています。
X-Robots-Tagヘッダーは、ページのHTMLセクション内に配置されるrobotsメタタグよりも、インデックス作成と提供に対してより詳細な制御を提供します。
robotsメタタグはインデックス作成とリンクのたどりを制御することに限定されていますが、X-Robots-Tagヘッダーは抜粋、プレビュー、キャッシュを管理するための追加のディレクティブを提供します。
X-Robots-Tagヘッダーを使用することで、ウェブサイト所有者は、ページが検索結果にどのように表示されるかを微調整し、検索エンジンがユーザーに表示する情報を制御できます。これは、重複コンテンツの管理、機密性の高いページのインデックス作成の防止、またはクリック率とユーザーエンゲージメントを最適化するために検索リスティングの外観をカスタマイズするのに役立ちます。