❄️
SnowPro Core勉強会(幹事限定版)を開催しました
はじめに
現在Snowflake Rookies Campの幹事を実施していますが、発起人のm.fujitaさんの発案で幹事全員がSnowPro Core合格を目指す！！という裏目標を掲げています。本日はその裏目標に向けて勉強会を開催しました。
どんなことやったの？
私が社内で実施したSnowPro Core勉強会の内容を参考に本日は以下のあたりを説明しました。
- Snowflakeについて
- Snowflakeの資格について
- Snowflakeで重要な3層構造について
-
ストレージレイヤー
- マイクロパーティション
- Snowflakeのテーブルの物理的な実態
- 圧縮前で50～500MB程度の小さなファイル（圧縮後は約16MB）
- カラムナーストレージフォーマット
- マイクロパーティションはイミュータブル(不変)である
- 機能の実装がシンプル
- これがあることでTime-Travelやゼロコピークローンの実現が容易
- マイクロパーティション
-
コンピューティングレイヤー(クエリ処理レイヤー)
- 仮想ウェアハウス
- 実際にクエリ処理行うためのエンジン
- ワークロード毎に分離することが可能
- ウェアハウス間は依存関係を持たず疎になっている
- 例えば、ELTのロード処理が分析の処理に影響を及ぼすことはない
- マルチクラスターウェアハウスとしてスケールアウトすることも可能
- スケーリングポリシーにより動きが変わる
- 標準(デフォルト)：クエリーがキューに登録された時か、「稼働中のクラスタが実行できるクエリ」よりも1つ多いクエリが検出されたとき、クラスタが追加される
- エコノミー：キューが溜まってから6分間解消されない場合にクラスタが追加される
- スケーリングポリシーにより動きが変わる
- ウェアハウスサイズが足りない(小さい)場合には処理実行中でもサイズ変更が可能
- サイズ変更は実行中のクエリには影響せず次の処理から有効になる
- 仮想ウェアハウス
-
クラウドサービスレイヤー
- メタデータ
- これがあることで実際のディスクにアクセスせずにクエリの結果を変えずことが出来る
- コンピューティングレイヤーも通らないのでウェアハウスも起動されない = クレジットが消費されない
- メタデータで保持している内容
- 最大値/最小値
- 行数
- 重複を除いた値の数
- メタデータ
-
ストレージレイヤー
- Snowflakeで重要な3層構造について
あとどれくらい開催するのか？
社内のSnowPro Core勉強会では計5回(1回あたり1時間)開催したのであと、4回ほどで一通りの範囲を触れることが出来ると思います。ただし、細かい内容までは説明しきれない部分もあるのであとは私の以前のブログにも記載しているUdemyの試験などを解いて理解度を深めていただけるときっと合格できるのではないかと思います。
裏目標達成のためにもSnowflake Rookies Campとは別にSnowPro Core勉強会(幹事限定版)も頑張っていくぞ！！
Discussion