SnowPro Coreの道 ~Part 16 検索最適化サービス~
はじめに
9月のSnowflake World Tour TokyoまでにSnowPro Coreをとります!
試験を8月21日(木)に受けようと思います。あと11日。
本当は9割取れたらもう少し早く受けたいと思っている今日この頃です。
とはいえ、3周目第5回は72%、第6回が75%とちょーっとずつ正答率は増えていますが、スレスレという感じです。
来週からお盆休み。休みのうちに忘れないかちょっと心配です。
現在こちらのUdemyの問題を解いています。
Snowflake SnowPro Core Certification Practice Tests COF-C02
本日は検索最適化サービスについてブログ化してみたいと思います。
検索最適化サービスとは
要約
Snowflakeの検索最適化サービス(Search Optimization Service)は、巨大テーブルに対する任意検索のスキャン量を減らしてクエリを高速化する仕組み。クラスタリングでは拾いにくい部分一致や点検索(特定ID)、複数列フィルタに効きやすい。
テーブル/列単位で有効化でき、Snowflakeが追加の検索データ構造を自動で維持する代わりにストレージ+メンテナンスコストが発生する。
なぜ必要?(症状の例)
-
LIKE '%abc%'のような前方ワイルドカードでフルスキャンになりがち - 1億行超のテーブルで特定IDの点検索でも遅い
- 複数列を組み合わせたWHEREでヒット行が散在 → マイクロパーティションのスキップが効きにくい
こういう時に「検索最適化」を有効化すると、対象データを素早く特定でき、読み取りスキャン量が大きく減ることがあります。
仕組み(ざっくり)
- Snowflakeはデータをマイクロパーティションに分けて保持。通常はパーティションの統計からスキャン対象を絞り込む。
- しかし散在する値や部分一致は統計だけでは厳しく、余分にスキャンしがち。
- 検索最適化を有効化すると、検索に特化したメタデータ(内部インデックスのようなもの)をSnowflakeが自動生成・更新する。
従来DBの手動インデックスとは違い、チューニング/リビルドの細かな運用は不要。ただし追加コストはかかる。
使いどころ早見表
| ケース | クラスタリング | 検索最適化 |
|---|---|---|
| 範囲検索(日時など) | ◎ | △ |
| 点検索(IDの単一値) | △ | ◎ |
部分一致(LIKE '%abc%') |
× | ◎ |
| 複数列フィルタ(AND/OR) | △ | ○ |
| データ更新が多い(頻繁なDML) | ○ | △(維持コスト上がる) |
有効化/無効化のSQL
テーブル全体で有効化
ALTER TABLE analytics.events
ADD SEARCH OPTIMIZATION;
特定カラムに限定して有効化
ALTER TABLE my_table
ADD SEARCH OPTIMIZATION ON COLUMNS (col1, col2);
利用状況確認
SHOW SEARCH OPTIMIZATION;
注意点
- 追加ストレージコストが発生(インデックス情報を保持するため)
- 有効化直後はインデックス構築に時間がかかることがある
- 更新頻度の高いテーブルでは、更新コストが増える可能性あり
- 全件スキャンのほうが速いケースもあるため、用途を選ぶ必要がある
まとめ
クエリ結果キャッシュと名前が似ていて混乱していたのですが、検索最適化サービスは別途導入するか判断が必要なサービスだということが分かりました。
Snowflakeって本当にいろいろな機能がありますね。覚えるのが大変!
公式ドキュメント
-
検索最適化サービス(概要)
概要や対応クエリタイプなどの説明:公式ドキュメント – 検索最適化サービス概説 -
有効化・無効化の設定方法
SQL 例付きで柔軟な列/方式指定方法:公式ドキュメント – 有効化と無効化 -
テーブル操作との関連性
クローニングや列変更時の挙動:公式ドキュメント – テーブル操作との関係 -
全文検索(TEXT)最適化
SEARCH関数使用時の最適化条件と挙動:公式ドキュメント – テキストクエリ高速化 -
他の最適化手法との比較ガイド
クラスタリングなどとの違い・使い分け:公式ドキュメント – パフォーマンス最適化ガイド
Discussion