👏

【Medium】How Fivetran + dbt actually fail　（SaaS ETLの罠）

2022/09/30に公開

がく＠ちゅらデータエンジニア　です。
※2022年9月よりちゅらデータ株式会社にJoinしました

データエンジニアリングな話題などをMediumで毎朝、サジェストされるんですが、これちゃんと読んでいかんとなーということで、読んだメモなどを残しておこうと思って書いて行こうと思います。

概要

という記事をよみました。
最初読んだときの感想としては

「Rent-Seeking」って言葉を使って（＝規制などを自分たちの都合が良いようにして、過剰な利益を上げる）
Firetranとdbtは、無駄な処理を入れてお金を荒稼ぎしてる・・・・

みたいな言説が書いており、読んで辛くなって、途中で読むのをやめてしまったのですが・・・・
そこにデータ強強の方々の意見をもらい、得るものがとても大きかったので、こちらに記録しておきたいと思います。

記事では、

SpotifyのデータをEL（T）する際に、テーブルが30個もできちゃう！？ぼってるやん！！！

と書いてたんですが、適切に無精して適当にELを作ったからじゃね？と

SnowVillageでもお世話になってる大西さんからこのような指摘。著者の方・・・・火消し案件でいろいろヘイトが溜まってたんじゃないの・・・とか、あえてそう書くことによって、仕事が増える！てきな

膝を打った意見。（さすが大西さんと）

とりあえずELをして、あまり考えずにTをして・・・
ELTとかデータ基盤構築が進んできて、揺れ戻しが来ている

どうやってクレジットが消費されるか？それを最適するには？といったあたりの工夫の議論。さすが、たきもさんと大西さん