Zenn
💭

Data warehouseとそのモデリング

2023/03/06に公開
DWH
tech

data vaultについて

datavault

https://www.kyvosinsights.com/blog/raw-data-vault-to-star-schema/

https://www.udemy.com/course/modeling-data-warehouse-with-data-vault-for-beginners/

https://medium.com/hashmapinc/getting-started-with-data-vault-2-0-c19945874fe3

https://rspacesamuel.medium.com/data-vault-modeling-concepts-through-real-world-examples-414fc9a1e906

https://www.snowflake.com/blog/data-vault-automation-with-erwin-and-snowflake-building-and-automating-a-scalable-data-warehouse-based-on-data-vault-2-0/

Data Modeling with 3NF vs. Data Vault 2.0 — A Simple Comparison

Getting Started with Data Vault 2.0

https://www.youtube.com/watch?v=bi3x9f5lxp0

with snowflake

https://dev.classmethod.jp/articles/data-vault-modelling-on-snowflake/

https://www.snowflake.com/blog/data-vault-technique-immutable-storage/

datavault design

How to implement data vault model

https://aginic.com/blog/modelling-with-data-vaults/

cheat sheet

https://www.grundsatzlich-it.nl/wp-content/uploads/DV-datasheet-v109-A3-color.pdf

1.0と2.0

2.0だとhub, link, satelliteが並列に作れる
https://www.scalefree.com/architecture/hash-keys-in-the-data-vault/

dbtvault

https://dbtvault.readthedocs.io/en/latest/

https://dev.classmethod.jp/articles/try-dbtvault-worked_example_of_snowflake/

用語

データステージングエリア Data Staging Area

業務システムのデータをセントラル・ウェアハウスに格納する前に必要となるETL処理を行うための一時的な保存場所となります。通常、OSのファイルシステム上のテキスト・ファイルもしくは、リレーショナル・データベース内のテーブルとして作成されます。

https://thinkit.co.jp/article/18078

https://hevodata.com/learn/data-staging-area/

Data mart

セントラル・ウェアハウスのデータの一部を、BIツールの種類やデータ分析の要件に最適な形で再構成された形態を持つ小規模なデータベースです。通常、リレーショナル・データベースが使用されます。

https://thinkit.co.jp/article/18078

memo

linkもsatelliteを持つことができる。

stackoverflow

https://stackoverflow.com/questions/65609641/in-data-vault-2-0-can-we-connect-a-link-and-a-hub-through-another-link

Discussion