❄️
金融業界に勤める私がSnowflakeでしたいn個の事
所属会社名は秘密です。金融業界のFintechの会社所属の人間です。
名前もNGです。Snowflakeコミュニティではぬんさんと呼ばれています。
Snowflakeを導入したらやりたい事というテーマで話させて頂きます。
- データサイロ化を解消したい
所属会社、サイロ沢山有ります。
まずDBがたくさん有ります。異なるDBサービスが有ります。
理由としては、
- 会社が複数サービスを提供している事
- サービス開始時期のタイミングがずれており
- 結果その時々で最適であろうDBサービスを選択している
オンプレ、クラウドリソースで動くDB、クラウドマネージドDBなど
データレイクは数え方次第ですが、二つは有ります。全社データレイクとBI向けデータレイクが別々になっています。これは今年には一つになる予定です
サイロが沢山あり、管理が大変なので統一したいなーと思っています。
-
コンピュータリソースとストレージの分割をしたい。
金融業なので月末で締め切り、月初から先月のお金の流れを計算しています。
SQlで貸方、借り方をSQLで計算しているのですが、数日計算しているそうです。
時間がかかる理由はいくつかあるとは思います。が一つは計算リソースが固定なので計算時間がかかっているのかなと思っています。なのでここはウェアハウスのサイズを変更できるSnowflakeで月初はXL、その他期間はLサイス程度
に変更したいと思っています。 -
データマスキングしたい
自分が今の会社に転職して2年から3年経過しました。転職してびっくりしたことが
「個人情報がローデータ」なことです。仕事内容は触れません。会社に怒られます。
設計の背景を推測します。- マスキングにリソースがかかる。リソースを割きたくない。
-
AI活用したい
現状機械学習ベースのモデルなのでLLMにした -
Streamlit活用したい
エンジニア足りていません。アプリケーションエンジニアもそうです。
Streamlitアプリケーション作成したいです
以上です。ご清聴ありがとうございます。
サイロの参考画像
Discussion