Open2
DuckDB-Wasm メモ
-
https://duckdb.org/docs/api/wasm/data_ingestion.html#parquet
- DuckDB-Wasm で Parquet (パーケー) ファイルを読み込む場合のネタ
- ダウンロード自体は fetch で行う
- registerFileBuffer で db に登録する
- https://github.com/voluntas/duckdb-wasm-parquet/blob/main/src/main.mts#L36-L46
-
Origin private file system - Web APIs | MDN
- S3 などからダウンロードしてきた Parquet ファイルを OPFS に保存することにより再度ダウンロードする必要をなくす
- ファイルから読み込み arrayBuffer にして DuckDB-Wasm へ registerFileBuffer で登録する
- 直接 OPFS へ読み書きできればいいのかもしれないが一旦は問題無い
- https://github.com/voluntas/duckdb-wasm-parquet/blob/main/src/main.mts#L229-L264