Open1

【Google Cloud】 Cloud SQL のデータを Coud Storage に エクスポートして BigQuery でクエリしたい

動機

Cloud SQL 内のデータに対して調査を行ってバッチ処理を行ったりしたい。Read Only 権限の DB User を作って閲覧するということが思いつくけれども、

  • Readレプリカ構成ではなくて、クエリ負荷が本番運用に影響を及ぼさないか心配
  • データベースにつなぎにいかなきゃいけなくてクライアントを用意するのが大変
  • バッチプログラムを書くにしてもユーザーとパスワードどう管理しよう
  • 一発系のバッチのために、今動いているアプリにAPIやバッチ処理生やすのもちょっとなー

といったように考えることが増えます。ワンショットのバッチ処理や運用業務のために、一度エクスポートしてそれをクエリできると便利だな、と考えました。

https://cloud.google.com/blog/ja/products/databases/introducing-cloud-sql-serverless-exports

まさにこれがやりたいことなんですが、ちょっと情報が散らばり気味なので実践しつつここにまとめていく。

ログインするとコメントできます