troccoを使って、SalesforceのデータをBigQueryに連携してみた

クラウドエースData/MLディビジョン所属のODRです。

今回は、データ分析基盤構築・運用の支援 SaaS である trocco を使用して、SalesforceのデータをBigQueryに連携してみたので、手順と感想を記事にまとめてみました。

troccoを使用することで、簡単かつ迅速にSalesforceの複数のオブジェクトをBigQueryに連携することができたので、データ分析基盤構築をどのように進めたらよいかわからない初心者や、構築工数を削減したいデータエンジニアの参考になれば幸いです。

trocco とは

trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナンスなどの
データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。

https://trocco.io/lp/index.html

今回は、ノーコードで利用可能なETL/データ転送機能を使用して、SalesforceのデータをBigQueryに連携してみました。

手順

事前準備

まずは、事前準備として、転送元のSalesforceと転送先のBigQueryの接続設定を作成します。

trocco にログインして接続情報の「新規追加」をクリックします。

まずは、転送先のSalesforceの接続設定を作成します。

Salesforceを選択します。

今回は、認証にOAuthを利用します。
インスタンスURLと任意の名前を入力して、保存します。

次に転送先のBigQueryの接続設定を作成します。

サービス選択画面に戻り、BigQueryを選択します。

今回は、認証にサービスアカウントのJSONキーを利用します。

BigQueryの接続情報を参考に、以下のロールを持つサービスアカウントを作成し、JSONキーをダウンロードします。

• BigQuery ジョブユーザー
• BigQuery データオーナー

ダウンロードしたJSONキーを、JSON keyに入力し、保存します。

以上で事前準備は完了です。

データ転送設定

次に trocco でデータ転送の設定を行います。　
　
ホーム画面で、転送設定の「新規追加」をクリックします。

転送元にSalesforce、転送先にBigQueryを指定します。

転送タイプには、マネージドデータ転送を指定します。

マネージドデータ転送とは、複数のデータソースの転送設定を一括で作成・管理できる機能です。
個別に転送設定を作成・管理するのに比べて、作業時間を短縮可能です。

任意の転送設定名を入力します。

転送元のSalesforceの接続設定を行います。

プルダウンから、作成したSalesforceの接続設定を選択します。

転送先のBigQueryの接続設定を行います

プルダウンから、作成したBigQueryの接続設定を選択します。

転送先のデータセットと、保存ロケーションを指定し、「次のSTEP」をクリックします。

転送対象のSalesforceオブジェクトを指定し、「次のSTEP」をクリックします。

マネージドデータ転送では、Salesforceの全てのオブジェクトの転送設定を同時に作成可能ですが、今回は検証であるため、取引先（Account）のみを転送の対象とします。

※ 注意点として、Salesforceのオブジェクト数は多いため、外す必要のあるチェックボックスは次ページにもあります。

テーブルの増減検知結果の通知設定とラベル設定をして、「作成」をクリックします。

テーブル増減検知機能とは、転送元のデータソースの増減を検知し、通知する機能です。
これにより管理者は効率的に・迅速にデータを最新の状態にすることができます。

以上で、データ転送設定は完了です。

転送ジョブの実行

データ転送設定が完了したので、データ転送を実行してみます。

左のメニューから「マネージドデータ転送設定」を選択し、転送したいSalesforceオブジェクトのジョブを選択します。
今回の検証では、取引先（Account）を転送の対象とするため、「Account」をクリックします。

右上の「実行」をクリックします。

今回は検証であるため、任意のタイミングで実行しましたが、「スケジュール設定」から定期的に実行することも可能です。
「スケジュール設定」では、下の画像のように、スケジュールされた転送が可能です。

次に、カスタム変数の展開方法を選択し、「実行」をクリックします。
ここでは、「現在時刻を基準に展開」を選択します。

カスタム変数とは、クエリやパスプレフィックスなどを実行する際に、特定の文字列や日時を挿入できる機能です。

実行に成功しました。

BigQueryでも確認してみると、Accountというテーブルが作られ、データが転送されていることを確認できました。

以上のように、プログラミングをせずに、Salesforceのデータを簡単にBigQueryに連携することができました。

まとめ

本記事では、troccoを使用してSalesforceのデータを簡単にBigQueryに連携する方法を紹介しました。

手順は簡単で、プラグラミングやSQLのわからない初心者でもスムーズに進めることができるため、データ連携に取り組む際にはぜひ参考にしていただきたいと思います。

troccoは、需要の多いSalesforceとBigQueryのデータ連携だけでなく、様々なデータソースとの連携が簡単にできます。

データ分析基盤構築をどのように進めたらよいかわからない初心者や、構築工数を削減したいデータエンジニアは、ぜひ導入してみてください。