dbt調査メモ

dbtの導入事例や感想/メモを書いておく

今の自分の課題感

全員分析していて、その知識をdbtに集めて組織に還元するフローを作りたい
- ただ分析する人にそれをやってもらうのは難易度が高そう？別チームにすべきか
LookerにかかれているロジックをBigQueryから利用できるようにしたい
https://github.com/rerost/bqv は雑に作っているものなのでしっかりしたツールの利用にしたい。dbtのref機能が最高すぎるので

Data Engineering Study

聞き逃している部分があるが、Twitterの反応などを見ているとデータ分析の専任チームがあるところが多いっぽい。Backend兼任の人もいたが、少数派っぽい印象を受けた。
あと、データモデリング部分に課題感はあまりなさそう（専任のチームがある、レールを一度引いている、によってあまり問題に鳴らない？）

rerost

[レポート] dbtとLookerを使ってデータガバナンスを効かせる #dbtcoalesce

Lookerとの相性が良さそう
Lookerだけだとviewの詳細度が高すぎて破綻する

4Mile社がオープンソースのツールを準備している

これは見つけられなかった https://github.com/4mile

日本語の中だとこれがいい感じに自分の思っている課題とマッチしている。

rerost

dbt + BigQueryのテンプレート

rerost

dbtでのデータモデリング。Ubieの事例

rerost

肌感覚だとdbtはいくつかの問題を解決する（dbtというより、DWH構築ツール全般）
- LookerのロジックをBigQueryで再利用できるようにする
- 実行時コストを削減する/複雑さを減らすのに活用できる
- refを使うので、テーブルの影響範囲やロジック変更時の影響範囲が割り出せる
  - Looker との組合わせ https://www.spectacles.dev/post/synchronizing-looker-and-dbt-with-spectacles
他のツールとの比較
- Dataform => 現在利用できない。利用できたらこっちも結構あり
- bqv => 依存関係が管理できない。実テーブルを作れない。メンテナが1人
- Argo Workflow + 自前ツール => 依存関係の記述が難しい

Dataformとdbtの比較