👏

【Medium】How Fivetran + dbt actually fail (SaaS ETLの罠)

2022/09/30に公開約1,500字

がく@ちゅらデータエンジニア です。
※2022年9月よりちゅらデータ株式会社にJoinしました

データエンジニアリングな話題などをMediumで毎朝、サジェストされるんですが、これちゃんと読んでいかんとなーということで、読んだメモなどを残しておこうと思って書いて行こうと思います。

概要

https://medium.com/@laurengreerbalik/how-fivetran-dbt-actually-fail-3a20083b2506
今日はこちら
「How Fivetran + dbt actually fail : Fivetran+dbtで実際に何を失敗するか?」

という記事をよみました。
最初読んだときの感想としては

「Rent-Seeking」って言葉を使って(=規制などを自分たちの都合が良いようにして、過剰な利益を上げる)
Firetranとdbtは、無駄な処理を入れてお金を荒稼ぎしてる・・・・

みたいな言説が書いており、読んで辛くなって、途中で読むのをやめてしまったのですが・・・・
そこにデータ強強の方々の意見をもらい、得るものがとても大きかったので、こちらに記録しておきたいと思います。

https://twitter.com/takimo/status/1575600825467928577?s=20&t=hdQq_20sDwCXTTVmnbTFIw

記事では、

SpotifyのデータをEL(T)する際に、テーブルが30個もできちゃう!?ぼってるやん!!!

と書いてたんですが、適切に無精して適当にELを作ったからじゃね?と

https://twitter.com/legoboku/status/1575612969463185408?s=20&t=hdQq_20sDwCXTTVmnbTFIw
SnowVillageでもお世話になってる大西さんからこのような指摘。著者の方・・・・火消し案件でいろいろヘイトが溜まってたんじゃないの・・・とか、あえてそう書くことによって、仕事が増える!てきな

https://twitter.com/legoboku/status/1575625064849887234?s=20&t=hdQq_20sDwCXTTVmnbTFIw

https://twitter.com/yokatsuki/status/1575634666651979777?s=20&t=hdQq_20sDwCXTTVmnbTFIw

膝を打った意見。(さすが大西さんと)

とりあえずELをして、あまり考えずにTをして・・・
ELTとかデータ基盤構築が進んできて、揺れ戻しが来ている

https://twitter.com/yokatsuki/status/1575637819921690627?s=20&t=hdQq_20sDwCXTTVmnbTFIw
データスチュワード的な役割の人が、それぞれの会社にいないと解決できない問題だよなぁ〜

https://twitter.com/legoboku/status/1575648888937074688?s=20&t=hdQq_20sDwCXTTVmnbTFIw
https://twitter.com/takimo/status/1575656069245739009?s=20&t=hdQq_20sDwCXTTVmnbTFIw

どうやってクレジットが消費されるか?それを最適するには?といったあたりの工夫の議論。さすが、たきもさんと大西さん

Discussion

ログインするとコメントできます