【Medium】How Fivetran + dbt actually fail　（SaaS ETLの罠）

がく＠ちゅらデータエンジニア　です。
※2022年9月よりちゅらデータ株式会社にJoinしました

データエンジニアリングな話題などをMediumで毎朝、サジェストされるんですが、これちゃんと読んでいかんとなーということで、読んだメモなどを残しておこうと思って書いて行こうと思います。

概要

https://medium.com/@laurengreerbalik/how-fivetran-dbt-actually-fail-3a20083b2506
今日はこちら
「How Fivetran + dbt actually fail　: Fivetran+dbtで実際に何を失敗するか？」

という記事をよみました。
最初読んだときの感想としては

「Rent-Seeking」って言葉を使って（＝規制などを自分たちの都合が良いようにして、過剰な利益を上げる）
Firetranとdbtは、無駄な処理を入れてお金を荒稼ぎしてる・・・・

みたいな言説が書いており、読んで辛くなって、途中で読むのをやめてしまったのですが・・・・
そこにデータ強強の方々の意見をもらい、得るものがとても大きかったので、こちらに記録しておきたいと思います。

https://twitter.com/takimo/status/1575600825467928577?s=20&t=hdQq_20sDwCXTTVmnbTFIw

記事では、

SpotifyのデータをEL（T）する際に、テーブルが30個もできちゃう！？ぼってるやん！！！

と書いてたんですが、適切に無精して適当にELを作ったからじゃね？と

https://twitter.com/legoboku/status/1575612969463185408?s=20&t=hdQq_20sDwCXTTVmnbTFIw
SnowVillageでもお世話になってる大西さんからこのような指摘。著者の方・・・・火消し案件でいろいろヘイトが溜まってたんじゃないの・・・とか、あえてそう書くことによって、仕事が増える！てきな

https://twitter.com/legoboku/status/1575625064849887234?s=20&t=hdQq_20sDwCXTTVmnbTFIw

https://twitter.com/yokatsuki/status/1575634666651979777?s=20&t=hdQq_20sDwCXTTVmnbTFIw

膝を打った意見。（さすが大西さんと）

とりあえずELをして、あまり考えずにTをして・・・
ELTとかデータ基盤構築が進んできて、揺れ戻しが来ている

https://twitter.com/yokatsuki/status/1575637819921690627?s=20&t=hdQq_20sDwCXTTVmnbTFIw
データスチュワード的な役割の人が、それぞれの会社にいないと解決できない問題だよなぁ〜

https://twitter.com/legoboku/status/1575648888937074688?s=20&t=hdQq_20sDwCXTTVmnbTFIw
https://twitter.com/takimo/status/1575656069245739009?s=20&t=hdQq_20sDwCXTTVmnbTFIw

どうやってクレジットが消費されるか？それを最適するには？といったあたりの工夫の議論。さすが、たきもさんと大西さん