マーケティングデータを可視化するためのデータ基盤構築のメモ

2023/04/11に公開

アーキテクチャ

オーケストレーション
Cloud Composer

dbtと相性のいいオーケストレーションツールであり、他のGCPのサービスとも親和性が高い。
データソースがオンプレ、クラウドを問わず単一のオーケストレーションツールっでワークフローを作成できる。

ソース
CSVファイル、Google広告、Salesforce、Twitter等のデータを想定

バッチ処理
Data Transfer Service
Workflows
CloudFunctions

CSVはBigQueryTransferServiceでCloudStorageに転送します。
BigQueryにロードするのはWorkflowsで行います。

ストレージ
Cloud Storage

データの一時保管場所としてCloudStorageを利用します。

レプリケーション
Data Transfer Service

BigQueryに出力する

データ層
BigQueryに構築
一時テーブル、ステージング層、データウェアハウス層、データマート層を構築
ELTツールにdbtを採用。

エラー監視
CloudLogging
CloudMonitoring
ErrorReporting
通知先はメールとSlackのチャンネルに飛ばす

参考

データドリブンのイノベーションを推進するクラウド データ ウェアハウス
https://cloud.google.com/bigquery?hl=ja#lightbox9

Best-in-Breed Data Stack: BigQuery, dbt, and Looker
https://www.analytics8.com/blog/best-in-breed-data-stack-platform-bigquery-dbt-and-looker/

Google Cloud Architecture Diagramming Tool
https://googlecloudcheatsheet.withgoogle.com/architecture

Discussion