👌

BigQueryのパーティションテーブルとシャーディングテーブルどちらが良いか

2024/03/10に公開

概要

BigQueryで日付ごとのテーブルを作成するときの選択肢として、パーティションテーブルとシャーディングテーブルの２つがあり、どう使い分けるべきか疑問に思いました。

結論から言うと、パーティションテーブルを使うことが公式からも推奨されているようです。

この記事では、パーティションテーブルが優れる理由を解説していきます。

パーティションテーブルとは、パーティションという単位に分割された特殊なテーブルです。

BigQueryは列指向データベースであるため、WHERE句でデータを絞り込んでもフルスキャンしてしまいます。しかし、パーティションテーブルの場合、WHERE句に、パーティションキーを使うことで、フルスキャンすることなく、特定の行のデータだけを抜き出すことができます。

それによって、クエリのコストとパフォーマンス向上につながります。

現在、パーティションは、取り込み時間・日付などの時間列・特定の整数列に基づいて設定可能です。

シャーディングテーブルは、{prefix}-YYYYMMDD などの名前の接頭辞を使用した複数のテーブルです。

BigQueryのコンソール画面からは、一つのテーブルのように見えますが、複数のテーブルから成ります。（下の赤枠部分）

前提として、BigQueryのテーブルにクエリを実行した際の挙動として、クエリ実行ユーザーがテーブルに対してアクセス権があるかどうか確認する処理が発生します。

パーティションテーブルは、パーティションに分割されているが、実体は１つのテーブルなので、アクセス権の確認処理が１回で済みます。

対して、シャーディングテーブルは、実体は複数のテーブルなので、複数テーブルにまたがるクエリを実行した際は、アクセス権の確認処理がテーブル毎に発生します。

そのため、アクセス権確認のオーバヘッドが少ない分、パーティションテーブルの方がパフォーマンスが優れます。

２つ目は、運用で感じたちょっとしたメリットです。
現在、BigQueryに複数テーブルを同時に削除する機能はありません。

パーティションテーブルは、１つのテーブルであるため、削除は１回で済みます。

対して、シャーディングテーブルの実体は、複数テーブルであるため、コンソール画面から削除しようとした時、テーブルの分、削除ボタンをぽちぽちする必要があります。

bqコマンドを上手く使うことで、特定のprefixを含むテーブル全てを削除することは可能です。

パーティションテーブルは、
・クエリのオーバーヘッドが少ない
・テーブルの削除が楽
の２点でシャーディングテーブルより優れます。

あえてシャーディングテーブルを使う場面は、日によってテーブルのスキーマが変わる時くらいでしょうか。