初の関西Snowflakeユーザーグループイベントを開催しました！
本記事は、Snowflake Advent Calendar 2023 の 18 日目です。
データエンジニアの是枝です。
8/18に初の関西Snowflakeユーザーグループによるイベントが開催されました！
■ 日時
2023/8/18金曜日 15時00分～18時00分(JST)
■ 場所
住友ゴム工業株式会社 本社
中央区脇浜町3-6-9
神戸市, 651-0072
■ アジェンダ
15:00：オープニング
記念すべき関西地区初のSnowflake ユーザー会開催です！
15:10：みんなのアーキテクチャと実装における課題
Snowflakeユーザーグループ - WESTのリーダー陣によるパネルディスカッション。各社のデータアーキテクチャやエコシステムとの連携方法を紹介しつつ、リアルな現場での実装における課題について問題提起していきます。
15:30 グループワーク〜発表
パネルディスカッションを踏まえて、参加者のみなさんとデータアーキテクチャ実装における課題についてディスカッションを行います。
【登壇メンバー】
- 住友ゴム工業株式会社 金子 秀一
- クリエイティブサーベイ株式会社 是枝 達也
- 株式会社村田製作所 青山 健作
- 稲畑産業株式会社 加島 匡憲
16:30 ネットワーキング
ワークのあとはネットワーキングでリフレッシュ！Snowflakeユーザーのみなさんと交流する絶好の機会です。
17:55 クロージング
私自身、関西Snowflakeユーザーグループのリーダーとして動かせてもらったので、その体験を書こうかなと思います。
（ものすごい今更な記事になっており、当時の記憶を思い出しながら執筆しておりますので、お見苦しい点はご了承ください。）
snowflake ユーザーグループとは？
意外と知らない方も多いのでは無いかと思うので予め説明しておくと、snowflakeにはユーザーからなる多くのユーザーグループが存在します。SnowflakeユーザーグループとはSnowflakeユーザーによるSnowflakeユーザーのためのグループです。もちろんユーザーだけで回せない場合はsnowflakeの社員さんもお手伝いをしてくれます。
日本ではサイトに登録されている分だけで「Japan」,「Japan Data Clean Rooms」「WEST」があるようですね。しかしここに登録されていないだけでsnowvillage内部では 色々な分科会が存在するようです。sakatokuさんがslackに投稿されたものが大変よくまとめられていたので、こちらでも紹介させていただきます！各チームの取り組みはData Cloud World Tourの中でも一部紹介されています。
data-clean-room
データクリーンルーム(DCR)のノウハウやユースケースを共有している分科会です。
SnowflakeのDCRは実装がシンプルで安全…と言いつつ、初見だとやっぱり難しいので、ぜひ先駆者である分科会メンバーに色々聞いてみてください。
あと企業間データ活用に興味ある仲間を増やすことが何より大事なのでよろしくお願いします！なんならSnowflakeユーザーじゃなくてもいいかもくらい！
data-management
データマネジメントに関するディスカッションやお悩み相談している分科会です。
毎月上旬の金曜日にオンラインで会合やってます！(参加者都合でズレることも)
データモデリングから組織文化までトピックが広範ですが、学びしかない会合です！
streamlit
手元の環境で動くStreamlitも、みんな大好きStreamlit in Snowflakeも、両方やってます。
プログラミング好きやNative Appsつよつよ勢が多いのも特長かも！
毎週土曜日午前中に勉強会やってます、Streamlit関係ない話もゆるっと受け入れてますので、ワイワイ作業するのが好きな方は覗いてみてください。
ちなみに：土曜日午前中は無理だわ、とよく言われるのですが、「この日この時間なら行けるのになー」と発信すると意外と誰か集まります。経験上。
geo
できたてほやほやの分科会！
「PostGISを10年やってたけどSnowflakeってこの関数ないの？」みたいなガチ勢から、位置情報って何したらいいかわからない…みたいな初心者まで、まずは集まりましょう！
Snowflakeの位置情報の扱いはまだまだ発展途上な感じですが、一方でPODBという最強のリソースがあるので、成長性A(超スゴイ)です。
今のうちからコミュニティとして集まって勉強したり発信したりしたら、自分たちもSnowflakeももっと成長できるんじゃないかなぁ？
certifications
資格勉強してる分科会です！
SnowPro CoreもAdvancedも、なんならSnowflake関係ない資格の勉強も、全員ウェルカム！
一人だとサボりがちになっちゃうのでみんなでコツコツやりましょう。
年末年始は資格勉強を初めてみましょう！
Japanユーザーグループのリーダー募集中らしいです！
私自身はWESTチームのリーダーをやっており、関西地区コミュニティの活発化のためにイベント企画することをやっております。まだまだ小さいコミュニティなので、関西在住（関西じゃなくても可）の方は是非登録してください！
イベントを振り返って
イベントをアジェンダ順に振り返って見たいと思います。
みんなのアーキテクチャと実装における課題
ここでは、実際にSnowflakeを導入したユーザーたちによるアーキテクチャ事例の紹介をしていきました。私も発表者だったため、弊社の分析基盤アーキテクチャ図を書き、全体に発表させていただきました。実際に登壇に使ったアーキテクチャ図はこちらです。現在と異なる部分はありますが概ね一緒です。
その後になぜこの構成にしたのかということをまとめて発表しました。
弊社のデータ分析基盤を解説すると、以下のような特徴があります。（現在はいくつか異なる点があります）
- RDSデータをsnowflakeに転送するための DMS→snowpipe
- Github ActionsとTerraformを使ったsnowflake環境のIaaS化
- データモデリングにdbtの導入
- DL層/DWH層/DM層の3層構造
- snowflakeのリソース監視のDatadog
- snowflakeとプロダクトの連携
その後は、アーキテクチャの悩みとして、コスト最適化方針を議論しました。
受けた質問の中には興味深いものもありました。
- S3をデータレイク層とするなら、snowflake側にデータレイク層は必要ないのでは？
- データマート層は初期フェーズでは必要無いのではないか？
- コストマネジメントの最適化とデータ利活用の推奨のトレードオフについて
このあたりの答えは各社毎の事業内容やフェーズによって正解が異なってくる部分にはなるかと思います。実際に様々な企業の方が集まっているので、各社多種多様な意見が出てきました。内容もデータエンジニアリングからデータマネジメントの話題まで幅広く登場した印象です。
グループワーク〜発表
発表者のデータ分析基盤構成図をみて実装における工夫やポイントを紐解きながら、各社の基盤におけるリアルな悩みや課題についてもチームメンバーで考えていきました。WESTのリーダーたちも班に混ざり議論に加わりました。各社のデータマネジメントの仕組みを聞くと、自社にもすぐに取り入れられそうなTipsが満載でした。
感想
初めは、私みたいなデータエンジニア駆け出しのペーペーがwestリーダーズを務められるのか不安でしたが、周囲の方々のサポートのお陰で無事盛況の中で終えることができました。
私みたいな小規模のデータ分析基盤と大企業とではsnowflakeのユースケースが大変異なっており普段聞けないお話が多くて大変興味深い内容となってました。どの企業もデータドリブンの風潮を文化に根付かせる工夫がなされており、大変参考になることばかりでした。
終わりに
引き続き、snowflakeのユーザーグループ活性化のためにWESTでの活動を頑張っていきたいと思います。またユーザーグループを作成されたい方はお近くのsnowflake社員の方に言えば立ち上げ可能かと思いますのでコミュニティ活動にご興味お有りの方は是非やってみてください！
Discussion