Closed7
データ基盤構築したい
ハトすけ分析用のデータ基盤構築したい。いろいろと調査。
ハトすけアーキテクチャ
参考
Bill Inmonさんのアプローチ
Ralph Kimballさんのアプローチ
が有名。
現代では
- データレイク
- データウェアハウス
- データマート
の３層構造が確立されてきた。
ハトすけ読むべき本
ハトすけ対応するツール
ちょっとただしいのか怪しい
データレイク
- Amazon S3
- Google CloudStrage
- Goolge BigQuery
データウェアハウス
- Amazon Redshift
- Amazon Athena
- Hadoop
- Google BigQuery
データマート
- Google BigQuery
- ???
BIツール
- Amazon Quick Insight
- Google Looker
ハトすけ事例
Plaid Karte
mercari
connehito
ハトすけAWS資料
ハトすけ連携例
AWS利用、BIgQuery使いたい
- Google Analytics GA4→ BigQuery 連携
- ELBアクセスログ → S3 → BigQuery Data Transfer Service → BigQuery
- (ルート1) ECSアプリケーションログ → CloudWatch Logs → Kinesis firehose → S3 → BigQuery Data Transfer Service → BigQuery
- (ルート2) ECSアプリケーションログ → firelens → fluentbit → S3 → BigQuery Data Transfer Service → BigQuery
- (ルート1) RDS → embulk on Fargate → BIgQuery
- (ルート2) RDS → Glue or DMS -> S3 → BigQuery Data Transfer Service→ BigQuery
このスクラップは2022/12/06にクローズされました