Zenn
Open8

Snowflake + dbtパフォーマンスチューニング

performance
Snowflake
DataEngineering
dbt
harukiharuki

https://select.dev/posts/introduction-to-snowflake-clustering

snowflakeでできるclusteringのメリデメ

harukiharuki
  • natural clustering
    • eventが発生順にinsertされて、自然とinsert_atなどのカラムでclusteringされる
    • pros
      • 特になし
    • cons
      • 再集計時にソートしてあげた方がいい
      • insert_at以外でのクエリには効かない
  • snowflake auto clustering
    • alter table my_table cluster by (column_to_cluster_by);
    • pros
      • 楽
    • cons
      • clusteringのコストが改善されるパフォーマンスを上回る可能性がある
  • manual sorting
    • CTAS + order byでsortしなおす
    • pros
      • 低コスト
    • cons
      • 手間がかかる
      • 他に走るDMLに注意が必要