📝
異なるプロジェクト間でBigQueryのデータ転送を行う
概要
別プロジェクトのBigQueryに存在するデータを転送する手順について備忘録です。
動機
Firebaseは環境ごとにプロジェクトを分けているのですが、サーバーやDB、分析基盤で使用しているプロジェクトは1つという運用をしています。
FirebaseCloudMessaging（FCM）のデータを使ってプッシュ通知の送信数を分析するにあたり、今回の対応が必要になりました。
FCMはFirebaseと同じプロジェクトのBigQueryにしかデータ転送ができない仕様のため、分析基盤のプロジェクトからデータ参照ができず、データ転送が必要になったという経緯です。
具体的な手順
-
BigQueryコンソールから「データ転送」を選択します
-
「転送を作成」を選択します
-
ソースに「Dataset Copy」を選択します
-
転送設定を登録します
- 転送構成名
作成するデータ転送の名前です。任意の値を設定します。 - スケジュールオプション
転送タイミングを設定します。
FCMはドキュメントによると、「太平洋時間の午前4時にデータの転送処理が始まり、24時間以内に完了する」とありますが、完了時間は日によってまちまちなので、決め打ちで設定するしかないと思います。 - 転送先の設定
転送してきたデータを格納するBigQueryデータセットを指定します。ここで新規にデータセットを作成することもできます。 - データソースの詳細
データの転送元を指定します。
FCMの場合、データセット名は通常であればfirebase_messagingとなっています。
※詳細は下記を参照すると良いです
Discussion