Snowflakeのコミュニティイベント「BUILD Meetup」に参加してきたよ
はじめに
こんにちは、スターフェスティバルの山崎です。ちょっと過ぎてしまったけど。アドベントカレンダーの18日目の記事を担当させていただきます。
昨日Snowflakeのコミュニティイベント「BUILD Meetup」に参加してきまして、コミュニティの盛り上がりや熱量をすごく感じたイベントだったのでレポートとしてまとめようと思います。
まだ参加されたことがない方はSnowVillageというコミュニティページがあるのでこちらからチェック！
1.リレーデモ
めちゃくちゃおもしろかったのはこのリレーデモです。
パートごとに発表者が別れて、一つのアプリケーションを作り上げるというものでした。
各パート5分という短い時間でしたが、どんなことができるのかイメージをつかめる内容になっていたので、気になる部分は後から調べようという気持ちになりました。
お題としては、Salesfoceにある野菜と気象データをSnowflakeに連携して、そこからデータ加工や分析、可視化、他のサービス(Databricks)からの利用みたいなものでした。
全体構成図
【Salesfoce】 ① Zero Copy Integration！ SnowflakeとSalesfoceがデータシェアリングでニアリアルタイム連携できるって知ってた?
Salesfoce DataCloud側のGUI上からポチポチするだけで、SnowflakeにViewテーブルができているというものでした。
逆に連携をやめたいときも、対象のオブジェクトの設定を取り消すことでSnowflake側のViewも消えるみたいで、管理はとても楽になるなという印象でした。
SalesforceとSnowflake間でデータがコピーされているわけではないので、データのサイロ化も置きにくそう。
多分このあたりが参考ページっぽい。
Share Data with Snowflake Using Zero Copy Integration
【dbt】 ② dbt Cloudでデータの混沌に秩序を。クリーンで信頼できるデータの世界へ。
Salesfoceからデータが連携されてきたので次はdbt Cloudを使ったデータクレンジングでした。
2つのテーブルを加工して、マートに統合するようなイメージでした。
dbt Cloudつかったことなかったけど、複数人で利用する場合は便利だなーと思いました。ドキュメンテーションもdbt Cloud上でできるし、CI/CD環境もあらかじめ準備されているのでそのあたりのお守りをしなくてよくなるのは嬉しそう。デモではGithubと連携して、CI/CDパイプラインを使っていました。
データが正しい形になっているかのチェックをdbtのテスト機能を使って実施していました。データの確からしさも担保できるのは安心ですね。テストカバレッジも出てた。
参考
【ai】 ③ Cortex ML Functionsで機械学習を誰でも簡単に。forecast()で将来のデータを予測しよう！
クレンジングされた野菜の商品価格変動調査データと気象データをを使った価格予測！
Snowflakeのforecast関数を使ったデモでした。
GUIのガイドに従って利用するテーブル、ターゲットや特徴量をポチポチ設定すると、野菜の価格予測をするためのSQLが自動で生成されて、実行すると予測までできていました。
SnowflakeのForecastのガイドがあって、どこに出力イメージがのっていたので参考まで。
予測値と下限、上限が時系列とセットで出力されます。
MLのエンジニアがいなくても組み込みの関数を使ってサクッと予測までできちゃうのはめちゃくちゃ良いですね〜。
弊社でも売上予測やアクティブユーザー数の予測で利用できないか最近検証しております。
【streamlit】 ④ Streamlit in Snowflake × Cortex LLM Functionsで実現する、親しみやすい未来のデータアプリ。
次に予測データができたので、可視化！
今回ただの可視化だけでなく、LLMを使って数値に関する示唆も与えてくれるすごいStreamlitをデモしてくれました。
べじとら可愛い
写真撮り忘れてしまったけど、Forecastで出力された野菜価格データを使って、今週のおすすめ野菜を提案してくれていました。 (来週値段上がるから今週買っておこう！みたいな
普通にほしいｗ
更に一歩進んで、Cortex LLMを使って野菜の価格変動について説明してくれてました。
生成AIもSnowflake上でサクッと使えるようになっているのはすごいし、こういう使い方もあるんだと勉強になりましたね〜。
【iceberg】 世はまさにOpen Table Format時代。Interoperatable Storageがあらゆるサイロを壊して、禁断の連携を実現！
タイトルのインパクトがすごいｗ
SnowflakeのイベントでSnowflakeで作成したicebergテーブルに競合であるDataBricksから接続するというコミュニティならではのデモでした。
Icebergテーブル使ったことなくて、イメージできなかったんですが、標準的なフォーマットで統一することでデータを特定の製品のためにデータをコピーして変換するとかが不要になるという旨味が一つあるみたい。前田さんのブログ見てもらうのが一番わかりやすいですが、エンタープライズなど様々なBIやデータツールがあるところだと採用のメリット大きそう。
DataBricksからIcebergテーブルのデータにアクセスしている図。
SnowflakeでIcebergテーブルを作成するとS3にメタデータと共にデータが作られる模様。
S3にあるIceberg形式のテーブルがハブになって、Snowflakeを含む様々なデータ活用製品がつなぎにくるっていうイメージっぽい。
2.ディスカッション ＆ 懇親会
リレーデモが終わった後は、各デモをやってくれた方への質問やディスカッションタイムが少しあって、懇親会に突入でした。
Snowflakeユーザーと悩みの共有やアーキテクチャの話をするのはめちゃくちゃ楽しかった。
食事もクリスマスパーティーでした。素敵。
いつか弊社のケータリング使ってもらえるように頑張ろうｗ
4.セレモニー
セレモニーでは、4年間引っ張ってくださっていた菱沼さんの村長卒業式がありました。
Snowflakeのコミュニティって皆さん温かみがあるしので、参加しやすいんですよね。素敵なコミュニティをありがとうございます。
そんな村長を新たに10名で盛り上げてくれるメンバーの発表でした。
Slackを見ていても日々情報の発信や企画を巻き込んで前に進めている様子をすごく見る方々なので、今後のSnowflakeコミュニティは更に盛り上がっていきそうな勢いを感じました！
最後に
最近は中々イベントに行ける機会がなかったのですが、久々にコミュニティイベントに参加できて、とても楽しかったですねー。 技術的にも今後の業務のヒントになりそうなこともあったので、学びがありました。今年自分が参加する最後の外部イベントになりそうです。
来年はもっとコミュニティの貢献できる一年にしたいな〜。
Discussion