⛳
マーケティングデータを可視化するためのデータ基盤構築のメモ
アーキテクチャ
オーケストレーション
Cloud Composer
dbtと相性のいいオーケストレーションツールであり、他のGCPのサービスとも親和性が高い。
データソースがオンプレ、クラウドを問わず単一のオーケストレーションツールっでワークフローを作成できる。
ソース
CSVファイル、Google広告、Salesforce、Twitter等のデータを想定
バッチ処理
Data Transfer Service
Workflows
CloudFunctions
CSVはBigQueryTransferServiceでCloudStorageに転送します。
BigQueryにロードするのはWorkflowsで行います。
ストレージ
Cloud Storage
データの一時保管場所としてCloudStorageを利用します。
レプリケーション
Data Transfer Service
BigQueryに出力する
データ層
BigQueryに構築
一時テーブル、ステージング層、データウェアハウス層、データマート層を構築
ELTツールにdbtを採用。
エラー監視
CloudLogging
CloudMonitoring
ErrorReporting
通知先はメールとSlackのチャンネルに飛ばす
参考
データドリブンのイノベーションを推進するクラウド データ ウェアハウス
Best-in-Breed Data Stack: BigQuery, dbt, and Looker
Google Cloud Architecture Diagramming Tool
Discussion