Ducklakeというローカルでもデータレイクハウスのような機能を作れるフォーマットが発表されたので初心者ながらもとりあえず何か作ってみようと思い書き進めています。
内容はCSVとParquetファイルに対してデータレイク特有の機能であるタイムトラベル機能やスキーマレボリューション機能を使うアプリケーションをStreamlitで作っていくという内容になっています。まだ途中ですがよろしくお願いします。

初心者がStreamlitとDucklakeでローカルデータレイクハウスを作って学んでみた話

Chapter 0:全コード(説明がいらない人用)

Chapter 1: はじめに - ローカルデータレイクハウスという造語

Chapter 2: DuckLakeって何？

Chapter 3: 環境構築 - 必要なツールをインストールしよう

Chapter 4: Streamlitで簡単なアプリを作ってみる

Chapter 5: DuckLake との接続とデータの読み込み

Chapter 6: ファイル読み込み機能

Chapter 7: データ編集機能

Chapter 8: トランザクション管理

Chapter9:タイムトラベル機能

Chapter 10: 列操作・四則演算・スキーマエヴォリューション

Chapter 11:まとめ

python

dataengineering

datalake

duckdb

ducklake

nk_work