GoogleSearchConsoleのインデックス登録で、「アクセス禁止(403)が原因でブロックされました」となった時、確認すること

島筒耕平2023/01/24に公開

IVRyのBEエンジニアの島筒です。

先日、GoogleSearchConsoleのインデックス登録で失敗して、ちょっとハマったので、記事にしてみました。

なぜ、この記事を残したか

前述の通り、GoogleSearchConsoleでのインデックス登録に失敗したのですが、Cloudfrontの「地理的ディストリビューションの制限」の設定が起因しており、気付くまでに時間がかかったので、備忘録として記事に残しました。

GoogleSearchConsoleのインデックス登録時のエラー起因について

「アクセス禁止(403)が原因でブロックされました」エラーは、IPアドレス制限が起因していることがほとんどです。
IPアドレス制限以外に、設置されたURLのファイルに読み取り権限がないや、apacheなどのWebサーバなどの設定が関係している可能性もありますが、本投稿ではAWS上の設定に関係したエラー起因に着目しています。
また、アクセス禁止に関連するIPアドレス制限以外のエラーメッセージは、「robots.txt によってブロックされました」「noindex タグによって除外されました」のようにわかりやすいメッセージになっています。

IPアドレス制限に関係する確認すべきAWSサービス

  • WAF & Shield
  • ALBに設定されているセキュリティグループ(ALBを利用している場合に限る)
  • ALBに設定されているリスナー(ALBを利用している場合に限る)
  • Cloudfrontのコンテンツの地理的ディストリビューションの制限(Cloudfrontを利用している場合に限る)

WAF & Shield

Web ACLsのルールを確認

ALBに設定されているセキュリティグループ

ALBのセキュリティグループのソース(送信元)を確認

ALBに設定されているリスナー

ALBのリスナー設定の送信元IPを確認

Cloudfrontのコンテンツの地理的ディストリビューションの制限

Cloudfrontの地理的ディストリビューションの制限を確認

帰着

ちょっと考えれば当たり前のことなんですが、国外のアクセスを拒否すると、Googleのcrawlerのアクセスまで拒否していました。
Googleのページのインデックス登録は、申請からクロールまで数日かかるので、こういった問題で登録が遅延するのは、辛いですね。

IVRyでは、エンジニアが足りません

IVRy、どんどん伸びています。
でも、エンジニアが足りません、マーケもセールスもディレクタもデザイナも足りていません。
皆さまのご応募お待ちしております!
https://ivry-jp.notion.site/IVRy-e1d47e4a79ba4f9d8a891fc938e02271

ちょっと気になるなと思った方、カジュアルに面談もお待ちしています。
https://meety.net/matches/HjFTycnaQmsN

IVRyテックブログ

電話DXのIVRy(アイブリー)を開発しているエンジニアのテックブログまとめです。

Discussion

ログインするとコメントできます