🐡

Databricksで構築したMLモデルをSalesforce Data 360 (Einstein Studio) から呼び出す手順

に公開

TL;DR

  • Salesforce Data 360(Data Cloud)の BYOM(Bring Your Own Model) を利用することで、Databricks などの外部プラットフォームで構築した予測モデルを Einstein Studio 経由で呼び出し、推論結果を Data 360 上のデータモデルオブジェクト(DMO)に書き戻すことが可能です。
  • Einstein Studio から Databricks Model Serving へのリクエストは、Pandas DataFrame を JSON 化した固定スキーマで送信されるため、Databricks 側の推論コードはこの仕様に合わせて実装する必要があります。
  • 本記事では、以下の流れを画面キャプチャおよびコード例を用いて解説します。
    1. Databricks におけるシンプルな回帰モデルの作成と API 公開
    2. Einstein Studio によるモデル接続設定
    3. 入力・出力 DMO を指定した予測ジョブの作成
    4. 推論結果の確認

全体のアーキテクチャと流れ

大まかな手順は以下の通りです。

  1. Databricks側: モデルの作成とServing(API公開)
  2. Data 360側: Einstein Studioでモデル接続設定
  3. Data 360側: 予測ジョブの定義(入力・出力DMOのマッピング)
  4. 実行: 推論結果の確認

1. Databricksでのモデル構築とAPI公開

まず、Databricks側でモデルを用意します。今回は例として、「年齢」と「収入」から「信用度スコア(数値)」を予測するシンプルな回帰モデルを想定します。

モデルのコード作成

Einstein Studio から Databricks の Model Serving を呼び出す際、リクエストは Pandas DataFrame を JSON 化した形式で渡されます。
そのため、Databricks 側の推論関数では、DataFrame を受け取り、そのままモデルに渡せる形で実装する必要があります。

以下は、Data 360 からの入力を想定したシンプルな推論コード例です。

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression

# ダミーの学習済みモデル(例)
model = LinearRegression()
X_train = np.array([[25, 300], [40, 800], [60, 1200]])
y_train = np.array([50, 70, 90])
model.fit(X_train, y_train)

def predict(df: pd.DataFrame) -> pd.DataFrame:
    """
    Einstein Studio から渡される Pandas DataFrame を受け取り、
    予測結果を DataFrame として返す
    """
    # 想定される入力カラム: age, income
    features = df[["age", "income"]]
    predictions = model.predict(features)

    # 出力は DataFrame で返却
    return pd.DataFrame({
        "credit_score": predictions
    })

Notebookでモデルを作成します。ここでは年齢と収入から、予測値(信用スコア)を推測する、という非常にシンプルなものを想定しています。

今回は簡易化のため、受け取った入力をそのままモデルに渡せるよう調整したコードを用意します。

Model Serving(API公開)


作成したモデルをDatabricksのModel Servingに登録します。 ステータスが Ready になったら、エンドポイントURLとアクセストークンを控えておきます。これらはData 360側の設定ステップで使用します。

2. Einstein Studioでのモデル接続設定

ここからはSalesforce Data 360側の操作です。Einstein Studioを開き、新しいモデル接続を作成します。


「Databricksモデルを接続する」を選択します。


接続情報を入力します。
名前: 任意の接続名(例: CreditScoreModel)
URL: DatabricksのServing Endpoint URLを貼り付け
認証ヘッダー: Authorization
秘密鍵: Bearer <Databricksで発行したトークン>
※トークンの前に Bearer (半角スペース) を忘れないように注意してください。



設定が適切であれば、「スキーマを表示するモデルを選択」にDatabricksで生成したエンドポイントが出力されます。選択すると、入力・出力の項目が自動的に表示されます。


問題なければ「保存」をクリックします。これでData 360内にモデルの定義が作成されました。


戻るボタンをクリックすると、予測モデルが作成されています。
ここではモデルを登録しただけなので、ここからジョブを作る必要があります。


「新規」をクリック。作成したモデルに対して、どのデータを渡して、予測値を格納するDMOを選択します。


モデルへの入力値をDMOの項目から指定して、「次へ」をクリック。


DMOのオブジェクト名を入力する。


ストリーミング、バッチ形式を選択します。


「保存」をクリックします。


予測ジョブの有効化をクリックすると、数分後にメニューに「実行」が表示されるため、そちらをクリックします。


出力DMOを確認します。


参考URL


Databricks と Einstein Studio を組み合わせた BYOM の実装を検討されている方にとって、
本記事が具体的なイメージを持つ一助となれば幸いです。

※本記事の内容は、私個人の検証および見解に基づくものであり、私が所属する会社とは一切関係ありません。

Discussion