データエンジニア道の俺のバイブル

先人の知恵に学ぶ

データエンジニア道で、本当に良かった！読み物を、不定期に追記していく。

• A Beginner’s Guide to Data Engineering — Part I
  • データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。
• Functional Data Engineering — a modern paradigm for batch data processing
  • 関数型パラダイムを使ったデータパイプラインの構築方法。これを初めて読んだ時の衝撃は今でも忘れないし、フルスクラッチからdbtを使ったデータパイプラインになっても健在な設計手法。
• Engineers Shouldn’t Write ETL: A Guide to Building a High Functioning Data Science Department
  • エンジニアはETLを書くなという強めのタイトルの記事ですが、読んで見ると世界の見え方が変わる。この記事に書いてある組織設計の話は、特におすすめ。
• Star Schema: The Complete Reference
  • 実践的なデータウェアハウス向けのモデリングを学んだ本。文章は少し難しいけど、現状これ以上にまとまっている本は見つかっていない。
• How to think about the ROI of data work
  • データの仕事のROIとは何か、私が担っているデータエンジニアはどういう仕事を期待されているのか、それ以外の様々な役割との関係性を、分かりやすくまとめてくれている。
• Why You Should Consider Being a Data Engineer Instead of a Data Scientist.
  • データエンジニアという役割を意識し始めた頃、将来性どうなんだろう？とかを考えいた時に、勇気がもらえた記事。読み終わる頃には、「やることいくらでもあるな！」になった。
• The Rise of the Data Engineer
  • データエンジニアの先人たちのストーリーを垣間見れる。私がデータエンジニアを始めるもっと前から、このレベルまでやってたのか・・・という衝撃とまだまだやれることがあるなと思わされる。
• Disrupting Data Governance: A Call to Action
  • データガバナンスとは、データ資産を管理することだと思っていましたが、この本では、データがいかに利用されるかに焦点を当てたアプローチについて書かれています。言われてみれば当たり前だけど大事なことが、まとまっている素晴らしい本です。
• Data Modeling with Snowflake: A practical guide to accelerating Snowflake development using universal data modeling techniques
  • モデリングに関する本は、現状だと少し古い情報だったりするため、現代の文脈に変換しながら読む必要がありますが、本書では現代の知識のまま、モデリングを深く学ぶことができるので、おすすめです。
• The AI Hierarchy of Needs
  • 最初のデータ・サイエンティストを雇ったものの、あまり良い結果が得られなかった。そんな会社が何故失敗するかについて、構造的に解説してくれている記事です。まず、AIとかやる前に、無限にやることがあることに気付かされます。
• The future of the data engineer — Part I
  • データエンジニアリングというキャリアが、今後どういう進化を遂げていくのか、未来予想図としてワクワクした内容です。読み終えると「一生やることあんなー」って呟きたくなるでしょう。
• Data quality dimensions: Tackling data quality with intentionality
  • dbtによるデータ品質とは何か？について書かれた記事。品質ってワードを深掘りして、我々が求めている品質とは何か？を理解することができます。