Open15
データ基盤アーキテクチャ参考資料
shiraishi
- https://speakerdeck.com/pei0804/strongest-data-architecture-discussion
- https://zenn.dev/dataheroes/articles/135fe6736d9ddf
- https://speakerdeck.com/kaz3284/shi-yong-de-nadetafen-xi-ji-pan-nituite-ge-ren-de-nisi-ukaziyuarutoku
- https://zenn.dev/gen_shun/articles/cad31834ce544a
- https://speakerdeck.com/yummydum/zui-qiang-nodetazu-zhi-akitekutiya
shiraishiぼくのかんがえる最高のデータ分析基盤
- データ基盤を作る時の技術選定や設計の考え方
- SnowflakeがRedshiftより優れているところ
- SnowflakeがBigQueryより優れているところ
- その次のページの構成図
- snowflake snowpipe のコスパ、dbt cloud のコスパ
- オーケストレーションにSfn
- Fivetranの用途 - 広告ログだと〜
実用的なデータ分析基盤について
- DevOps
- DevOpsのポイント
- 加えて、チーム内で好評な取り組み
shiraishi- EMR
https://dev.classmethod.jp/articles/beginner-what-is-emr-overview/ - Amazon Redshift & Redshift serverless もちらっと調べる
shiraishi用語など
shiraishiGCP準備
shiraishiメモ：Hadoop, Spark, Hive などの概要について調べる。aws, gcpの何のサービスが対応しているか調べる
shiraishiBigQueryとSnowflakeを徹底比較
クラウドデータ基盤サービスの比較(BigQuery
vs Snowflake vs Redshift)
自分で1から簡単なデータ基盤・データパイプラインを作ってみる
技術選定完全に理解した
SnowflakeとAWSでデータ分析基盤を構成する(vol.4)
snowflakexdbtxTerraformでモダンなデータ基盤開発してみた
shiraishi
質問
- SQL Lint は、SQLFluff
- ジョブ管理はAirflowが多い。dbt Cloudでも出来る、お知り合いの別の方はArgo？も使ってるとのこと
- Gateway レイヤーとDWHレイヤー