Open6

dbt調査メモ

rerostrerost

dbtの導入事例や感想/メモを書いておく

今の自分の課題感

  • 全員分析していて、その知識をdbtに集めて組織に還元するフローを作りたい
    • ただ分析する人にそれをやってもらうのは難易度が高そう?別チームにすべきか
  • LookerにかかれているロジックをBigQueryから利用できるようにしたい
  • https://github.com/rerost/bqv は雑に作っているものなのでしっかりしたツールの利用にしたい。dbtのref機能が最高すぎるので
rerostrerost

Data Engineering Study

https://www.youtube.com/watch?v=B0ZTFhczGjs&list=PL-zOB4NIHubaG_W63xg0dJCfm3C6GJEIz&index=12

聞き逃している部分があるが、Twitterの反応などを見ているとデータ分析の専任チームがあるところが多いっぽい。Backend兼任の人もいたが、少数派っぽい印象を受けた。
あと、データモデリング部分に課題感はあまりなさそう(専任のチームがある、レールを一度引いている、によってあまり問題に鳴らない?)

rerostrerost

[レポート] dbtとLookerを使ってデータガバナンスを効かせる #dbtcoalesce

  • Lookerとの相性が良さそう
  • Lookerだけだとviewの詳細度が高すぎて破綻する

4Mile社がオープンソースのツールを準備している

これは見つけられなかった https://github.com/4mile

日本語の中だとこれがいい感じに自分の思っている課題とマッチしている。

rerostrerost
  • 肌感覚だとdbtはいくつかの問題を解決する(dbtというより、DWH構築ツール全般)
  • 他のツールとの比較
    • Dataform => 現在利用できない。利用できたらこっちも結構あり
    • bqv => 依存関係が管理できない。実テーブルを作れない。メンテナが1人
    • Argo Workflow + 自前ツール => 依存関係の記述が難しい

Dataformとdbtの比較
https://speakerdeck.com/na0/dataformtodbtdele-surudetamoderingu?slide=22