🪥

各ホスティングサービスのX-Robots-Tag自動設定対応状況

2023/01/03に公開約1,900字

クローラーにインデックスを除外させる方法として、<meta> タグでの noindex 設定が一般的であるが、レスポンスヘッダー X-Robots-Tagnoindex を設定することも可能である。

https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=ja

https://www.bing.com/webmasters/help/which-robots-metatags-does-bing-support-5198d240

Vercel がプレビュー用ディビジョンのインデックス回避として、自動的にヘッダーに X-Robots-Tag: noindex を付与することは、公式ドキュメントに記載されている。

https://vercel.com/guides/are-vercel-preview-deployment-indexed-by-search-engines

この設定によって開発者は、プレビュー用のページが誤ってインデックスされてしまうのを防ぐために、 <meta name="robots" content="noindex"> をディビジョンに応じて出し分けるという一手間を回避できる。

しかし、その他のホスティングサービスがどうなっているかに関しては、公式なアナウンスが見当たらなかったので、実際にデプロイして検証してみた。

Vercel

https://vercel.com/guides/are-vercel-preview-deployment-indexed-by-search-engines

公式のドキュメントに明示されているが、一応実際にデプロイして確認してみる。

ドキュメント通り正しく設定されている。

Cloudflare Pages

https://blog.cloudflare.com/custom-headers-for-pages/

2021年時点の公式ブログによれば、自分で_headersファイル作って、カスタムヘッダーを設定しないといけないらしい。

しかし、上記設定なしで実際にデプロイして見ると、自動的に設定されるようになっていた。

Netlify

https://answers.netlify.com/t/override-x-robots-tag-noindex-header-in-deploy-preview/38980

フォーラム内の記述によれば、自動的に設定されているらしいが、公式のドキュメントは見つけられなかった。

実際にデプロイしてみると、実際に X-Robots-Tag: noindex が設定されていることがわかる。

Amplify

ググっても全く情報が見つからなかった。

残念ながら、自動的に X-Robots-Tag: noindex をつけるということはしてくれない。

カスタムヘッダーの設定ができるので、そちらで設定しなければならない。(もちろんアクセスコントロールでの制御でもOK)

https://docs.aws.amazon.com/ja_jp/amplify/latest/userguide/custom-headers.html

まとめ

プレビューディビジョンで X-Robots-Tag: noindex が自動設定されるか否かは下記の通り。

Vercel Cloudflare Pages Netlify Amplify
GitHubで編集を提案

Discussion

ログインするとコメントできます