🐍

PythonによるDoubly Robust Learnerの実装

2022/10/09に公開約11,100字

はじめに

Doubly Robust Learner(以下、DR-Learner)について、Pythonによる実装を交えてまとめました。内容について誤り等ございましたら、コメントにてご指摘いただけますと幸いです。

機械学習を用いた因果推論

機械学習を用いた因果推論手法は大きく分けて下記の2通りが存在します。

  • Meta-Learner系
  • Causal-Tree系

今回はMeta-Learner系の手法の1つであるDR-Learnerについて紹介します。

Meta-Leanrerとは

Meta-Learnerとは、機械学習と因果推論の考え方を掛け合わせて条件付き平均処置効果(CATE: Conditional Average Treatment Effect)を推定する手法の総称です。

条件付き平均処置効果(CATE)とは、平均処置効果(ATE: Average Treatment Effect)をある条件(X=x)に限定して算出したものであり、処置を実施した場合の結果をY(1)、処置を実施しなかった場合を結果Y(0)とすると

\hat{\tau}(x) = E[Y(1)-Y(0)|X=x] = E[Y(1)|X=x] - E[Y(0)|X=x]
で与えられます。X=xについて条件付けした場合の効果を推定するため、個体の属性における効果の異質性、すなわちxによって効果が異なるような非線形な効果も捉えることができます。

ここで、X=xの条件である処置を実施した場合、Y(1)|X=x \:のデータは取れますが、Y(0)|X=x \:のデータは取れません。逆にX=xの条件である処置を実施しなかった場合、Y(0)|X=x \:のデータは取れますが、Y(1)|X=x \:のデータは取れません。

そのため、機械学習を使って取得できないデータの予測値を算出し、推定に利用しようとするのがMeta-Learnerの考え方です。その中でも今回はX-Learnerについて紹介します。

DR-Learnerとは

DR-Learnerは、DR法(Doubly Robust Estimation)に機械学習を拡張した手法です。

  • Y_i: アウトカム
  • T_i: 処置
  • X_i: 共変量(アウトカムだけに影響を与える)
  • W_i: 共変量(交絡因子)

DR-Learnerの手順を説明します。

  1. T=tのデータを用いて、Yを推定する回帰モデル\hat{g}_t(X, W)を共変量X, Wから作成します。
  2. 全データからT=tとなる確率を推定するモデル\hat{p}_t(X, W)を共変量X, Wを作成します。
  3. 1・2で作成したモデルを利用して、Y_{i, t}を推定する回帰モデルY^{DR}_{i, t}を作成します。
    Y^{DR}_{i, t} = g_t(X_i, W_i) + \frac{Y_i - g_t(X_i, W_i)}{p_t(X_i, W_i)} \cdot \bold{1} \{T_i = t\}
    ただし、\bold{1}
    \bold{1} = \left\{\begin{array}{ll} 1 & (T_i = t) \\ \\ 0 & (T_i \neq t) \end{array}\right.
    1. で作成したモデルを利用して、XからCATEを推定するモデル\theta(X)を作成します。
      \theta_t(X) = Y^{DR}_{i, t} - Y^{DR}_{i, 0}

Pythonによる実装

ダイエット商品の広告効果を例に、Pythonでデータを作成し、DR-Learnerを用いて効果を算出してみます。

設定

とある健康食品会社では、ECにてダイエット商品を販売しています。ダイエット商品の販促のため広告を回した結果から広告効果を推定することになりました。

手元には下記のデータがあります。

  • iさんのダイエットへの意識の高さを表す指標x_i
    • 一様分布(-1, 1)に従う
  • iさんが広告を見たかどうかを表すダミー変数T_i
    • 下記のモデルによって決定されるとする
      T_i = \left\{\begin{array}{ll} 1 & (x_i + noise_i > 0): 広告を見た \\ \\ 0 & (x_i + noise_i \leq 0): 広告を見てない \end{array}\right.
    • noise_iは標準正規分布に従う
  • iさんの購入金額Y_i
    • x_iT_iの影響を受け、真のモデルは下記のように表される
      Y_i = 1000(\: [\: 3 + \tau_i T_i + 3x_i + noise_i \:] \: )
    • ただし[x]は、n \leq x < n+1を満たす整数nを表す
    • また、効果\tau_ix_iによって異なる
      \tau_i = \left\{\begin{array}{ll} 1 & (x_i \leq 0) \\ \\ 2 & (0 < x_i \leq 0.5) \\ \\ 3 & (0.5 < x_i \leq 1) \end{array}\right.
    • noise_iは一様分布(0, 1)に従う

データの作成

Pythonで上記の設定を満たすデータを作成します。

# 必要なライブラリをインポート
import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib
# グラフをJupyter上に描画
%matplotlib inline

# データ数
size = 1000
# シードの設定
np.random.seed(0)

# ダイエットへの意識の高さ
x = np.random.uniform(-1, 1, size)
noise = np.random.randn(size)

# 広告ダミー
_T = x + noise
T = np.where(_T>0, 1, 0)

# ダイエットへの意識の高さによって広告効果が異なる
t = np.zeros(size)
for i in range(size):
    if x[i] < 0:
        t[i] = 1
    elif x[i] < 0.5:
        t[i] = 2
    else:
        t[i] = 3
        
# 売上
noise = np.random.uniform(0, 1, size)
Y = np.clip(t*T + 3*x + 3 + noise, 0, 10).astype("int") * 1000

# 売上のヒストグラムを描画
plt.hist(Y)
plt.xlabel("ダイエット商品の売上(単位:円)")
plt.show()

(出力結果)

DR-Learnerによる効果検証

今回は売上Yを予測するモデルにランダムフォレストを選択して、効果を推定していきます。

# 必要なライブラリをインポート
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LogisticRegression

# 手順1: T=tのデータからYを推定する回帰モデルの作成
# T=0
df_t0 = df[df["T"] == 0]
g0 = RandomForestRegressor(max_depth=3, random_state=0).fit(df_t0[["x"]], df_t0["Y"])
# T=1
df_t1 = df[df["T"] == 1]
g1 = RandomForestRegressor(max_depth=3, random_state=0).fit(df_t1[["x"]], df_t1["Y"])

# 手順2: T=tの確率を推定するモデルを作成
pt = LogisticRegression().fit(df[["x"]], T)

# 手順3: 1,2で作成したモデルを利用してY0, Y1を推定するモデルを作成
# T=0
Y0 = g0.predict(df_t0[["x"]]) + (df_t0["Y"] - g0.predict(df_t0[["x"]])) / \
    pt.predict_proba(df_t0[["x"]])[:, 0]
# T=1
Y1 = g1.predict(df_t1[["x"]]) + (df_t1["Y"] - g1.predict(df_t1[["x"]])) / \
    pt.predict_proba(df_t1[["x"]])[:, 1]

# 手順4: 3で作成したモデルを利用してXからCATEを推定するモデルを作成
# T=0
df_t0["ITE"] = g1.predict(df_t0[["x"]]) - Y0
# T=1
df_t1["ITE"] = Y1 - g0.predict(df_t1[["x"]])
# T=0とT=1のデータを結合
df_DR = pd.concat([df_t0, df_t1])
# モデルthetaを作成し、効果を推定
theta = RandomForestRegressor(max_depth=3, random_state=0).fit(df_DR[["x"]], df_DR["ITE"])
tau = theta.predict(df[["x"]])

# 推定された効果の描画
plt.scatter(df[["x"]], tau, alpha=0.3)
plt.hlines(1000, -1, 0, linestyles='--', color="red")
plt.hlines(1000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(2000, 0, 0.5, linestyles='--', color="red")
plt.hlines(2000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(3000, 0.5, 1.0, linestyles='--', color="red")
plt.hlines(3000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.xlabel("ダイエットへの意識の高さ")
plt.ylabel("広告効果")
plt.ylim(0, 4000)
plt.show()

(出力結果)

EconMLの紹介

EconMLとは、観察可能なデータから機械学習を用いて条件付き平均処置効果(CATE)を推定するPythonパッケージです。Microsoft社が開発しているもので、さまざまなMeta-Learner系やCausal-Tree系の因果推論手法が実装されています。

EconMLの公式ドキュメントはこちらです。
https://econml.azurewebsites.net/

EconMLによるDR-Learnerの実装

DR-Learnerは推定に利用する機械学習モデルを選択するだけで実装できます。
今回はランダムフォレスト回帰をモデルに選択します。

# 必要なライブラリをインポート
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LogisticRegression
from econml.dr import DRLearner

# モデルの構築
outcome_model = RandomForestRegressor(max_depth=3, random_state=0)
pseudo_treatment_model = RandomForestRegressor(max_depth=3, random_state=0)
propensity_model = LogisticRegression()
DR_learner = DRLearner(model_regression=outcome_model, 
                       model_propensity=propensity_model, 
                       model_final=pseudo_treatment_model)
DR_learner.fit(Y, T, X=x.reshape(-1, 1))

# 効果の推定
tau = DR_learner.effect(x.reshape(-1, 1))

# 推定された効果の可視化
plt.scatter(df[["x"]], tau, alpha=0.3)
plt.hlines(1000, -1, 0, linestyles='--', color="red")
plt.hlines(1000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(2000, 0, 0.5, linestyles='--', color="red")
plt.hlines(2000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(3000, 0.5, 1.0, linestyles='--', color="red")
plt.hlines(3000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.xlabel("ダイエットへの意識の高さ")
plt.ylabel("広告効果")
plt.ylim(0, 4000)
plt.show()

(出力結果)

先ほどと似たような結果が得られました。

補足

先ほども少し触れましたが、現実社会においては広告効果を推定したい場合、広告を見た人もそうでない人もその多くが商品を購入しないというシーンがほとんどです。

先ほどの例で売上Yの真のモデルを

Y_i = 1000(\: [\: \tau_i T_i + 3x_i + noise_i \:] \: )
とし、Pythonで実装すると下記のようになります。

# 必要なライブラリをインポート
import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib
# グラフをJupyter上に描画
%matplotlib inline

# データ数
size = 1000
# シードの設定
np.random.seed(0)

# ダイエットへの意識の高さ
x = np.random.uniform(-1, 1, size)
noise = np.random.randn(size)

# 広告ダミー
_T = x + noise
T = np.where(_T>0, 1, 0)

# ダイエットへの意識の高さによって広告効果が異なる
t = np.zeros(size)
for i in range(size):
    if x[i] < 0:
        t[i] = 1
    elif x[i] < 0.5:
        t[i] = 2
    else:
        t[i] = 3
        
# 売上
noise = np.random.uniform(0, 1, size)
Y = np.clip(t*T + 3*x + noise, 0, 10).astype("int") * 1000
# Y = np.clip(t*T + 3*x + 3 + noise, 0, 10).astype("int") * 1000

# 売上のヒストグラムを描画
plt.hist(Y)
plt.xlabel("ダイエット商品の売上(単位:円)")
plt.show()

(出力結果)

このデータにおいて、DR-Learnerを実装してみます。

# 必要なライブラリをインポート
# 必要なライブラリをインポート
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LogisticRegression
from econml.dr import DRLearner

# モデルの構築
outcome_model = RandomForestRegressor(max_depth=3, random_state=0)
pseudo_treatment_model = RandomForestRegressor(max_depth=3, random_state=0)
propensity_model = LogisticRegression()
DR_learner = DRLearner(model_regression=outcome_model, 
                       model_propensity=propensity_model, 
                       model_final=pseudo_treatment_model)
DR_learner.fit(Y, T, X=x.reshape(-1, 1))

# 効果の推定
tau = DR_learner.effect(x.reshape(-1, 1))

# 推定された効果の可視化
plt.scatter(df[["x"]], tau, alpha=0.3)
plt.hlines(1000, -1, 0, linestyles='--', color="red")
plt.hlines(1000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(2000, 0, 0.5, linestyles='--', color="red")
plt.hlines(2000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(3000, 0.5, 1.0, linestyles='--', color="red")
plt.hlines(3000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.xlabel("ダイエットへの意識の高さ")
plt.ylabel("広告効果")
plt.ylim(0, 4000)
plt.show()

(出力結果)

特にダイエットへの意識が低いグループの広告効果において、推定の精度がかなり悪いようです。

参考文献

おわりに

最後まで読んでいただきありがとうございました。他にも「Python×データ分析」をメインテーマに記事を執筆しているので、参考にしていただけたら幸いです。内容の誤り等がございましたら、コメントにてご指摘くださいませ。

他にも下記のような記事を書いています。ご一読いただけますと幸いです。

また、過去にLTや勉強会で発表した資料は下記リンクにまとめてあります。ぜひ、ご一読くださいませ。
https://speakerdeck.com/s1ok69oo

Discussion

ログインするとコメントできます