DuckDBに入門してみた
DuckDBとは
DuckDBはOLAP(オンライン分散処理)分析に特化したデータベースです。
特に高速な処理を得意とし、かつ無料およびOSSライセンスで動作します。
詳しくは公式ドキュメントを参照ください。
DuckDBの強み(公式より抜粋)
-
シンプル
DuckDBは、コンパイル時も実行時も外部依存関係はありません。
DuckDBの構築に必要なのは、動作するC++11コンパイラーのみです。 -
豊富な機能
DuckDB は、本格的なデータ管理機能を提供します。
大規模な関数ライブラリ、ウィンドウ関数などを使用してSQLの複雑なクエリを広範囲にサポートしています。
DuckDB は Python および R に深く統合されており、効率的な対話型データ分析が可能です。
DuckDB は、Java、C、C++ などの API を提供します。 -
処理の速度
DuckDB は、オンライン分析処理 (OLAP)とも呼ばれる分析クエリ ワークロードをサポートするように設計されています。
これらのワークロードは、テーブル全体の集計や複数の大きなテーブル間の結合など、格納されたデータセットの重要な部分を処理する複雑で比較的長時間実行されるクエリによって特徴付けられます。
データへの変更もかなり大規模になることが予想され、複数の行が追加されたり、テーブルの大部分が同時に変更または追加されたりします。 -
無料
DuckDB はオープンソースであり、ソース コード全体は GitHub で無料で入手できます。
私たちは、当社の行動規範を遵守する限り、誰からの貢献も歓迎します。
DuckDBを選んだ理由
以下のように選択基準があり、それを満たすものを探していたらDuckDBに行きつきました。
・無料で利用できること
・OLAP用に作られたデータベースであること
DuckDBのインストール
公式ドキュメントの手順に従ってインストールしました。
Linux用のバイナリパッケージを解凍します。
ちなみに今回落としたパッケージはhttps://github.com/duckdb/duckdb/releases/download/v0.8.1/duckdb_cli-linux-amd64.zipです。
unzip duckdb_cli-linux-amd64.zip
DuckDBの起動
./duckdbコマンドだけでも実行できますが、その状態だとインメモリデータベースとして起動して、データを保持しません。
root@28b9c609ac51:/duckdb_work# ./duckdb
v0.8.1 6536a77232
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
D
なので、データ保持させるには引数にファイル名を入れてあげます。
./duckdb test.duckdb
どのような操作ができるか確認するには.helpを入力します。
root@28b9c609ac51:/duckdb_work# ./duckdb test.duckdb
v0.8.1 6536a77232
Enter ".help" for usage hints.
D .help
.bail on|off Stop after hitting an error. Default OFF
.binary on|off Turn binary output on or off. Default OFF
.cd DIRECTORY Change the working directory to DIRECTORY
.changes on|off Show number of rows changed by SQL
~略~
.timer on|off Turn SQL timer on or off
.width NUM1 NUM2 ... Set minimum column widths for columnar output
初期のデータベースとテーブルを確認する
データベースを確認するには.databaseコマンドで確認できます。
見た感じ、.duckdbコマンドの引数に渡したtest.duckdbがデータベースに相当するみたいですね。
そして、.tablesコマンドでテーブルを確認できます。
初期状態だと、作成されていないので表示されません。
D .database
test: test.duckdb
D .tables
D
CSVファイルをインポートしテーブルを作成する
適当なCSVファイを用意します。
私がduckdbを起動している環境がmac book proのDockerコンテナ上なので、コンテナ上にCSVファイルを転送します。
docker cp veg_plant_height.csv 28b9c609ac51:/tmp/veg_plant_height.csv
docker exec -it 28b9c609ac51 bash
root@28b9c609ac51:/# ls /tmp/
veg_plant_height.csv
CSVファイルをduckdbと同じ階層に持ってきます。
root@28b9c609ac51:/duckdb_work# ls
duckdb test.duckdb veg_plant_height.csv
DuckDBへCSVファイルを取り込みます。
root@28b9c609ac51:/duckdb_work# ./duckdb test.duckdb
v0.8.1 6536a77232
Enter ".help" for usage hints.
D create table veg_plant_height as select * from read_csv_auto('veg_plant_height.csv');
SELECT句を使ってCSVファイルが取り込まれているか確認します。
D SELECT * from veg_plant_height limit 5;
┌────────────────────┬─────────┬──────────────────┬───────────────────┐
│ plant_name │ UOM │ Low_End_of_Range │ High_End_of_Range │
│ varchar │ varchar │ int64 │ int64 │
├────────────────────┼─────────┼──────────────────┼───────────────────┤
│ Artichoke │ F │ 4 │ 5 │
│ Arugula │ I │ 8 │ 10 │
│ Asparagus │ F │ 4 │ 6 │
│ Beans, bush │ I │ 24 │ 30 │
│ Beans, lima (bush) │ I │ 24 │ 36 │
└────────────────────┴─────────┴──────────────────┴───────────────────┘
D
基本的なDMLはサポートしているので、気になる方は公式ドキュメントを参照してみてください。
まとめ
まだ大規模なデータの分析やデータ抽出ができていませんが、導入はとても簡単です。
その他のDWH製品を利用している際に常に怯えていたトライアル期間やコスト面を考えなくて良いのがとってもいいと思いました！
使い方についてはこれから学習していきたいと思いますので、継続して記事にしていきます。
次回はdbt x DuckDBをやってみたいと思います！
Discussion