がく＠ちゅらデータエンジニアです！
先日より、以前からやってみたかったFrosty Fridayをやる深夜RADIO的な番組を始めました。
一緒にメインMCをやってるのが、Tableau DataSaber時代からの友達の @tomowk1 さん♪
Frosty Fridayとは
2022年07年に最初のお題が投稿されたSnowflakeのスキルアップを目的とした学習コンテンツです。
1週間〜2週間に一度、Snowflakeに関するお題が出題されます。
レベル的には、初級、中級、上級があります。
Frosty Fridayへの参加方法は、
- 作ったコードをご自身のGithubなどで公開
- そのURLをお題（Week1など）にコメントを記載
回答は”公式”にはありません！
ただ、世界中でSnowflakeを使っている人のチャレンジの結果が閲覧でき、すごく参考になり面白いです。
Snowflake実務者の方々のノウハウが知れるコンテンツとなっています
現時点(2024年6月現在）で、Week98 まで出題されています。
後発ではありますが、Week1から順番にお題を進めています。
Frosty Friday Live Challenge Vol.4
今回は
Week11 - Basic Task by tomoさん
Week12 - Intermediate Stmeamlit by mimuraさん
です。
タイムラインはこちら
0:00 オープニング
3:02 What's New : Iceberg Table/DCR GA,EXECUTE JOB SERVICE
8:59 Topics:Snowsightの全角スペース/いろんな数値を集めた/Euro2024をSnowparkMLで予想
18:34 Frosy Fridayとはなんぞや
20:05 Week11 Basic: Task 問題説明
22:04 Week11解法①
39:55 Week11 解法②
48:08 Week12 Intermediate Streamlit 問題説明
49:19 Week12 解法①
1:06:17 Week12 解法①’
1:14:43 クロージング
直近の話題からピックアップ
What's New
相互運用性を保ちながら、データの単一コピーを維持するのに最適
AWS東京、AWS大阪、Azure東日本で提供！ってのが一番ホットな話題ですね
EXECUTE JOB SERVICE を使用して作成されたジョブは、ストアド プロシージャと同様に、コードが終了すると終了するサービスです。すべてのコンテナーが終了すると、ジョブは完了します。
何かのバッチをSPCSで動かす場合に、よい
通常のSERVICEは、JupyterNotebookなどを思い浮壁たんですが、それの場合は、JOB SERVICEではない
バッチ的に動かせるならば何を動かすか？というのは今後検討したいです。ぱっと思い作ろころでは・・・・Data Ingest（Airbyte）とか、Data Modeling（dbt）をSPCSでうごかして、キックさせる・・みたいな使い方だったりするでしょうか
Snowflake関連トピック
手前味噌ですが、Snowsightで、全角スペースの視認性を上げたい！っていう記事です
今まで、全角スペースのためにSQL Compile Error になるっての多くなかったですか？無駄な時間を費やしていませんか？
こちらは、Indigoさんの記事。Stylusを使っての方法で、Snowsightだけフォントを変えることができるという、最小影響でやっており、私の解法よりも優れているんじゃないでしょうか
ユーロ2024（収録は6.20）の予想はどれぐらいあってるでしょうかね？ｗ
Frosty Friday Live Challenge
今回は
- Week11 - Basic Task by tomoさん
- Week12 - Intermediate Stmeamlit by mimuraさん
です。
解説は動画を見てください！
Week11 - Basic Task by tomoさん
問題
今週、FrostyFarms は一連の連鎖タスク (正確には2つ) を作成しようとしています。農場には牛乳を生産する牛がたくさんいて、そこから牛乳の一部が脱脂乳に加工されます。
牛乳の脂肪分率によってデータの表示方法を変えてデータを編集したいと考えています。
脱脂乳は遠心分離機で脂肪を減らすプロセスを経るため、全乳の列にはそのプロセスに関連する列は必要ありませんが、脱脂乳の列には必要です。
牛乳の脂肪率に応じて、データの異なる行に対して異なるアクションを実行する親タスクと子タスクを作成します。
最初のクエリを実行すると、3%のデータは次のようになります。
3%以外の行は次のようになります
2番目のクエリでは次のような結果が返されるはずです。
tomoさんのコードはこちら
私のコードは・・・・（今書こうとしてますので書いたらリンク）
Week12 - Intermediate Stmeamlit by mimuraさん
問題
今週のチャレンジは、Streamlit の別のチャレンジです。選択したテーブルにファイルをアップロードできるインターフェースを作成していただきます。
残念ながら、今週は基本的な Python の知識が必須です。しかし、簡単な初心者向けコースですぐに学べる内容です。
Mimuraさんのコードはこちら
Discussion