Open1

Snowflakeの学びメモ

定時帰宅するぞJP定時帰宅するぞJP

Snowflakeの概念部分

仮想ウェアハウス
ユーザがクエリを実行するときにはこれが必要。これがSQL投げる時のエンジンみたいなもの。
このウェアハウスは追加することが可能。
 →目的別に専用のウェアハウスを立ち上げることが可能、例えば営業部用とかデータサイエンティスト用とかETL用とかそんな感じ。

クラスタ
実際のクエリの処理をするのがこれ。仮想ウェアハウスの中にクラスタが存在する。
 →クラスタのサイズはXS~あって大きければ大きいほど性能が高い。
  →クエリの実行速度向上が図れる。
 →またクラスタの数を自動増減することが可能。(=マルチクラスタ)
  →同時利用数やクエリの同時実行性の向上を図れる。

Snowflakeのええところ

高速なパフォーマンス

・各々のクラスターが独立して並列処理
 負荷に応じてクラスタ数とかクラスタサイズを最適化することが可能(前述)

・複数の層でキャッシュを保持
 結果キャッシュ/メタデータキャッシュ/データキャッシュとかがあることで即座に応答することが可能

・マイクロパーティショニング
 取り込んだデータを自動的に複数のパーティションにわけて保持してくれるので、チューニング作業をしなくても検索処理が最適化される

⇒大量同時実行処理が可能に。