Snowflake最適化いろいろ

エンタープライズプランではACCESS_HISTORYが見れる。
設定が不要なものにはdata_retention_time_in_days=0にしてタイムトラベルを無効にするといい。
- タイムトラベルはデフォルトで有効になっている。
failsafe機能もコストがかかるので、検証用のものなどはtransient tableにするのがいい。
- https://docs.snowflake.com/en/user-guide/tables-temp-transient#transient-tables
- https://docs.snowflake.com/ja/user-guide/data-failsafe#view-fail-safe-storage-for-your-account
100–250 MB程度のファイルサイズの取り込みがベスト
warehouseでAUTO_SUSPEND と AUTO_RESUMEを設定する。
sqlのタイムアウトを設定する
- https://docs.snowflake.com/en/sql-reference/parameters#statement-timeout-in-seconds

auto_suspend=60に設定する。
バッチ処理はインクリメンタルな形にする。
マイクロパーティションを意識したクエリを使う。
- select * from orders where created_at > '2022/08/14'
1つのレコードを更新または削除するたびに、Snowflakeはマイクロパーティション全体を再作成する必要がある。
１つのファイルのサイズを 100-250MB程度に抑える。