❄️

金融業界に勤める私がSnowflakeでしたいn個の事

2024/05/23に公開

所属会社名は秘密です。金融業界のFintechの会社所属の人間です。
名前もNGです。Snowflakeコミュニティではぬんさんと呼ばれています。

Snowflakeを導入したらやりたい事というテーマで話させて頂きます。

  1. データサイロ化を解消したい
    所属会社、サイロ沢山有ります。
    まずDBがたくさん有ります。異なるDBサービスが有ります。

理由としては、

  • 会社が複数サービスを提供している事
  • サービス開始時期のタイミングがずれており
  • 結果その時々で最適であろうDBサービスを選択している

オンプレ、クラウドリソースで動くDB、クラウドマネージドDBなど

データレイクは数え方次第ですが、二つは有ります。全社データレイクとBI向けデータレイクが別々になっています。これは今年には一つになる予定です

サイロが沢山あり、管理が大変なので統一したいなーと思っています。

  1. コンピュータリソースとストレージの分割をしたい。
    金融業なので月末で締め切り、月初から先月のお金の流れを計算しています。
    SQlで貸方、借り方をSQLで計算しているのですが、数日計算しているそうです。
    時間がかかる理由はいくつかあるとは思います。が一つは計算リソースが固定なので計算時間がかかっているのかなと思っています。

    なのでここはウェアハウスのサイズを変更できるSnowflakeで月初はXL、その他期間はLサイス程度
    に変更したいと思っています。

  2. データマスキングしたい
    自分が今の会社に転職して2年から3年経過しました。転職してびっくりしたことが
    「個人情報がローデータ」なことです。

    仕事内容は触れません。会社に怒られます。
    設計の背景を推測します。

    • マスキングにリソースがかかる。リソースを割きたくない。
  3. AI活用したい
    現状機械学習ベースのモデルなのでLLMにした

  4. Streamlit活用したい
    エンジニア足りていません。アプリケーションエンジニアもそうです。
    Streamlitアプリケーション作成したいです

以上です。ご清聴ありがとうございます。

サイロの参考画像

Discussion