【クローラー様へ】Soft 404 でした。すみません

Google検索にサイトの一部ページが表示されないという問題があり、
Google search consoleで原因調査したので、メモしておきます。

原因: Soft404

Search consoleのURL inspectionから、特定ページのURLを入力することで、そのページのクロール結果を見ることができます。

見事にインデックスされておらず、Page is not indexed: Soft 404というエラーが出ています。
Soft 404は、HTTP statusは200で返ってきているけれど、ページ内容の表示に問題があり、404扱いとなっているというエラーです。
ログインが必要なページ&年齢確認が必要なページだったのですが、Google Botがアクセスした場合は、どちらも不要でページ表示できるようにしたはず、、。なぜ。

TEST LIVE URL

TEST LIVE URLから、クローラーが実際にサイト訪問したときの表示を見れました。(初耳！)

しっかりページ表示時にエラーになってしまっていました。

開発環境でブラウザのUserAgentをGoogleBotに偽装して、ページ表示してみると、こちらもしっかりエラーになっていました。。ページに修正を加えるうちに、GoogleBotアクセス時にエラーが発生する様になったようです、、。

結末

• GoogleBotが来たときにエラーにならないように対応
• GoogleBotだけエラーになることに気づけるように、心もとないテスト実装
• インデックス登録されるか確認 <- 今

まとめ

• クローラー様、エラーすみませんでした。