Open6
BigQuery周り
CTE不用意に使うとスロット時間が爆伸びするときがあるからjoinしちゃったほうが良いケースがあるっぽい。迷ったら叩いてスロット時間ちゃんと確認する
コスト見るときはコンソール見に行くよりこのクエリ叩いたほうが早い
パーティショニングは10GBになるようなサイズ感で行うとメタデータが増えて逆にパフォーマンス下がるらしい
そういう場合はクラスタ化するほうが良いらしい
dbtでCluseter指定する場合は
{{
config(
materialized = "table",
cluster_by = ["some_column"],
)
}}
みたいな感じ
struct fieldではクラスタ化は出来ない。
Entries in the CLUSTER BY clause must be column names
というエラーが出る。
columnにしないと駄目
ジョブエクスプローラーでは処理されたバイト数
が見れるけど、実際に実行されたクエリは見れない。
ジョブ履歴では実際に実行されたクエリが見れるけど処理されたバイト数
が見れない
job IDで検索できるのでそれをキーにして両方見てくしかなさそう