Closed3
zarr-pythonについて調べる

コンテキスト:https://x.com/nnc_5522/status/1870272659545829403
- zarrとhdf5どちらを使えばいいのか?
- 結論:I/Fと以下の比較論文ざっくりと見る感じと扱いやすさを考えると自分の場合は基本zarrで、要件がシビアならDatasetのcreate/writeが支配的なのか、write/readが支配的なのかで使い分けると良さそう
- https://arxiv.org/pdf/2207.09503

- ベンチマークのissueとかもあるっぽい
- v3のtracker: https://github.com/zarr-developers/zarr-python/issues/2412

書き込みは早くできるけど、圧縮しないとhdf5に比べてディスク容量かなり使うし、読み込みも遅いのでhdf5でしばらくやる
このスクラップは5ヶ月前にクローズされました