BigQuery のスケジュールドクエリを Terraform で作ったときの学び

やろうとしたこと

• AWS のデータを GCS に定期的に転送している
• その GCS に格納されたデータを External Table にしていたが、このテーブルを読むのに BQ だけでなく GCS の権限も必要だとわかった
• そのため External Table を読むのではなく、スケジュールドクエリで別途作成した Big Queryのテーブルを作った
• スケジュールドクエリの設定は google_bigquery_data_transfer_config で作る
  https://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/bigquery_data_transfer_config.html
• スケジュールドクエリの実行はサービスアカウントにしてサービスアカウントの権限として roles/bigquery.dataEditor と roles/storage.objectViewer を付与

上記の点が学びで、スケジュールドクエリの設定ができた