Open2
dataformをつかってみる
koo手順
- bigqueryからdataformのレポジトリを作成する。
- workspaceを作成する
- workspaceを初期化する
参考
koo-
Google 提供のロール付与を含めるにチェックをいれると権限管理の確認ができる。
- dataformは、サービスアカウントではなく、サービスエージェント
-
definitionsにSQLXファイルをおいておく
- SQLXファイルは、dbtでいうところのjinjaテンプレートのようなものか
- definitions下のフォルダ構成は自由
-
sourceは、書くテーブルごとにsqlxを作成する必要がありそう。
-
コンパイル済みのコードや、実行結果がすぐに確認できるのはよいなー
-
リネージもいいかんじ
-
テーブルごとにコンフィグでテストや、スキーマをかいていくらしい
参考