各ホスティングサービスのX-Robots-Tag自動設定対応状況
クローラーにインデックスを除外させる方法として、<meta> タグでの noindex 設定が一般的であるが、レスポンスヘッダー X-Robots-Tag で noindex を設定することも可能である。
Vercel がプレビュー用ディビジョンのインデックス回避として、自動的にヘッダーに X-Robots-Tag: noindex を付与することは、公式ドキュメントに記載されている。
この設定によって開発者は、プレビュー用のページが誤ってインデックスされてしまうのを防ぐために、 <meta name="robots" content="noindex"> をディビジョンに応じて出し分けるという一手間を回避できる。
しかし、その他のホスティングサービスがどうなっているかに関しては、公式なアナウンスが見当たらなかったので、実際にデプロイして検証してみた。
Vercel
公式のドキュメントに明示されているが、一応実際にデプロイして確認してみる。
ドキュメント通り正しく設定されている。
Cloudflare Pages
2021年時点の公式ブログによれば、自分で_headersファイル作って、カスタムヘッダーを設定しないといけないらしい。
しかし、上記設定なしで実際にデプロイして見ると、自動的に設定されるようになっていた。
Netlify
フォーラム内の記述によれば、自動的に設定されているらしいが、公式のドキュメントは見つけられなかった。
実際にデプロイしてみると、実際に X-Robots-Tag: noindex が設定されていることがわかる。
Amplify
ググっても全く情報が見つからなかった。
残念ながら、自動的に X-Robots-Tag: noindex をつけるということはしてくれない。
カスタムヘッダーの設定ができるので、そちらで設定しなければならない。(もちろんアクセスコントロールでの制御でもOK)
まとめ
プレビューディビジョンで X-Robots-Tag: noindex が自動設定されるか否かは下記の通り。
| Vercel | Cloudflare Pages | Netlify | Amplify |
|---|---|---|---|
| ✅ | ✅ | ✅ | ❌ |
Discussion