クロスクラウドにおけるSnowflakeデータシェアリングの実装手法（24年11月版）
クロスクラウドでのデータシェアリング実装
はじめに
2024年9月に開催されたSnowflake World Tour Tokyoで、CCCMKホールディングスはクロスクラウドでのデータ共有に関する取り組みを発表させていただきました。
設計は23年より始まり、データ連携等が最後まで決まりませんでしたが、最終的に24年4月にローンチしたシステム構成を以下の記事で紹介させていただきました。
さて、この記事を掲載したところ、今はListing機能が実装されてるよ！というご指摘を前田さんから頂きました。（感謝！）
前回の記事で末文に注釈入れた通りになりまして、早速最新機能を元に構成案を見直ししてみようと思います。
ついでに前回の記事を23年版に修正・・
実装の全体像
笑えるぐらい超シンプル！
※ELT関連は目的に応じて選択（GA機能優先）
Listing機能について
クロスクラウドデータシェアの実装は、今後はListing機能でいいんじゃないか？？と思ったのですが、改めて仕様面の整理をしようと思いました。
また全然話題に上がらないData Exchangeについてもついでに比較
listing / Data Sharing/ Data Exchange の機能比較
ざっくりまとめ
1. 基本特徴比較
| 特徴 | プライベートリスティング | 直接データ共有 | データ交換 |
|---|---|---|---|
| 主な用途 | 特定コンシューマーとの共有 | 1対1のデータ共有 | 特定グループ内でのデータハブ形成 |
| 対象ユーザー | 個別の取引先 | 単一の取引先 | 招待制のメンバーグループ |
| 機能利用制限 | なし | なし | 要Snowflakeサポートへの申請 |
Data Exchangeは、サポートに申請が要るのか。。
Data SharingやListingより、Data Exchangeが必要なケースがイマイチ分かんなかった
プライベートリスティングはマーケットプレイスを介さないので、ほんとにData Sharingの上位互換
2. 技術的特徴
| 機能 | プライベートリスティング | 直接データ共有 | データ交換 |
|---|---|---|---|
| データ容量制限 | 10TB | 制限なし | 制限なし |
| クロスリージョン | 自動レプリケーション対応 | 手動設定 | 手動設定 |
| オブジェクト制限 | 特定タイプのみ | なし | なし |
Listingは容量制限というか、クロスクラウドのレプリケーションの上限値があるようだけど、
これはサポートに言えば制限を増やすことは出来るみたい。
というかでかいDBを誤ってレプリしちゃって、コスト事故起こさないためのセーフティネットだろうな。
3. 管理機能
| 機能 | プライベートリスティング | 直接データ共有 | データ交換 |
|---|---|---|---|
| 使用状況モニタリング | Provider Studio | 個別確認 | 交換管理者機能で確認可能 |
| メンバー管理 | 個別追加 | 個別追加 | メンバーシップ管理機能あり |
| ドキュメント管理 | 一元管理 | 個別管理 | 交換内で一元管理可能 |
| アクセス制御 | 詳細な制御可能 | 基本的な共有制御 | メンバーシップベースの制御 |
こうやって見ると使用状況もモニタリング出来る、Listing一択ですね。
そしてListingで全て良さそうなので、Data exchangeが全く頭に入ってこない・・
まとめと追記
本記事では、前回記事時点の実装をさらにアップデートした比較を自身でしてみたものを共有しました。
1年前に実装を決めて半年後にリリースした、1年後に記事を発表したら、もう陳腐化していたというのは笑えない話ですが、それぐらいsnowflakeの進化が早いという事だと思います。
そういう意味では情報を寝かしておく事に意味はないと改めて気付くことが出来ましたし、積極的に発信し、自分自身もアップデートしていくという事をどんどんやっていった方が良い！と思いました。
という訳でこの記事にも注釈を付けておきます。
Discussion