Data CloudにSnowflakeからデータをゼロコピーで取り込んでみた
TL;DR
今回は、Data Cloudのフェデレーション機能を使用してSnowflakeからリードコンバージョンデータをゼロコピーで取り込む流れをこちらの記事でご紹介します。
公開鍵、非公開鍵の入手とSnowflakeへの公開鍵の割当の部分で少々設定が必要ですが、Data Cloud上でのデータ取り込み設定は非常にシンプルでスムーズでした!一連の流れをスクショ付きでご覧ください。
まず、必要なもの
Snowflake環境
Data Cloud環境
SnowSQLインストール
- SNOWSQLのダウンロード は以下のリンクから行えます
- https://www.snowflake.com/en/developers/downloads/snowsql/
下準備
新規ターミナルを開き、以下の作業を行います。
非公開鍵の作成
openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
公開鍵の作成
openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub
非公開鍵の確認&コピー
cat rsa_key.p8
こちらは後ほどData Cloudでの認証情報設定で使うのでコピーしてどこかにとっておいてください。
公開鍵の確認&コピー
cat rsa_key.pub
こちらはSnowflakeユーザーに割り当てるのでコピーしてどこかにとっておいてください。
SnowSQL にログイン
公開鍵をユーザーに割当て
snowsql -a <アカウント名> -u <ユーザー名>
パスワード が求められるのでSnowflakeアカウントのパスワードを入力してログインします。
ALTER USER <ユーザー名> SET RSA_PUBLIC_KEY='<公開鍵の内容>';
ここで、<公開鍵の内容> には、rsa_key.pub の内容をそのまま貼り付けます。ただし、改行を削除して1行にまとめる必要があるので注意してください。
🎯 これで公開鍵認証の設定が完了です!
Data Cloud設定
Data Cloud 設定から、Snowflake > 使用を開始
Snowflakeアカウントに接続
接続名:任意の名前を入力
アカウントURL:https://<自身のSnowflake組織名>-<自身のSnowflakeアカウント名>.snowflakecomputing.com/
ユーザー名:自身のユーザー名を入力
非公開鍵:先ほどコピー&保存した非公開鍵の-----BEGIN PRIVATE KEY-----と-----END PRIVATE KEY-----を含まないものをコピペ
ウェアハウスの選択をして、【次へ】でSnowflakeコネクタのセットアップ完了
接続状況が「有効」になりました!
それでは、Data Cloud上でのSnowflake接続設定が完了したのでいよいよお目当てのデータをゼロコピーで取り込んでいきたいと思います。
Data Cloud> データストリーム > Snowflake
SnowflakeのPublicデータベースにいれておいたLead Conversionのデータを発見しました!
取り込みたいデータセット、項目の取り込み設定を行います。
次へ進むと、「加速を有効化」にチェックがついていますが、今回はゼロコピー目的なのでチェックボックスを外します。
リリースをクリックして、取り込み設定の完了です!
Discussion