🐍

PythonによるDomain Adaptation Learnerの実装

2022/10/01に公開

Python

はじめに

Domain Adaptation Learner(以下、DA-Learner)について、Pythonによる実装を交えてまとめました。内容について誤り等ございましたら、コメントにてご指摘いただけますと幸いです。

機械学習を用いた因果推論

機械学習を用いた因果推論手法は大きく分けて下記の2通りが存在します。

Meta-Learner系
Causal-Tree系

今回はMeta-Learner系の手法の1つであるDA-Learnerについて紹介します。

Meta-Leanrerとは

Meta-Learnerとは、機械学習と因果推論の考え方を掛け合わせて条件付き平均処置効果(CATE: Conditional Average Treatment Effect)を推定する手法の総称です。

条件付き平均処置効果(CATE)とは、平均処置効果(ATE: Average Treatment Effect)をある条件( $X=x$ )に限定して算出したものであり、処置を実施した場合の結果を $Y(1)$ 、処置を実施しなかった場合を結果 $Y(0)$ とすると

\hat{\tau}(x) = E[Y(1)-Y(0)|X=x] = E[Y(1)|X=x] - E[Y(0)|X=x]

で与えられます。X=xについて条件付けした場合の効果を推定するため、個体の属性における効果の異質性、すなわちxによって効果が異なるような非線形な効果も捉えることができます。

ここで、 $X=x$ の条件である処置を実施した場合、 $Y(1)|X=x \:$ のデータは取れますが、 $Y(0)|X=x \:$ のデータは取れません。逆に $X=x$ の条件である処置を実施しなかった場合、 $Y(0)|X=x \:$ のデータは取れますが、 $Y(1)|X=x \:$ のデータは取れません。

そのため、機械学習を使って取得できないデータの予測値を算出し、推定に利用しようとするのがMeta-Learnerの考え方です。その中でも今回はDA-Learnerについて紹介します。

DA-Learnerとは

DA-LearnerとはX-Learnerの派生形で、 $P(X^0)$ と $P(X^1)$ の確率分布が異なることが予想される場合に有効的な手法です。

ダイエット商品の広告を回した際に

iさんの共変量: $X_i$
iさんが広告を見たかどうか(処置): $T_i$ ( $T_i=1$ であれば広告を見た、 $T_i=0$ であれば広告を見てない)
iさんの売上: $Y_i$

というデータから広告の効果を推定するという例をもとにDA-Learnerの手順を説明します。

全データから傾向スコア( $P(T=1|X)$ )を推定します。傾向スコアの推定値を $g(x)$ とします。
処置を受けていない、すなわち、広告を見ていない( $T=0$ )のグループの共変量 $X=x$ を用いて、 $\frac{g(X^0)}{1 - g(X^0)}$ で重み付けした処置を受けていない(広告を見ていない)場合の売上( $Y(0)$ )を予測する回帰モデル $\mu_0(x)$ を作成します。 $\hat{\mu}_0(x) = M_1 \biggr(Y^0 \sim X^0, weights = \frac{g(X^0)}{1 - g(X^0)} \biggr)$
処置を受けた、すなわち、広告を見た( $T=1$ )のグループの共変量 $X=x$ を用いて、 $\frac{1 - g(X^1)}{g(X^1)}$ で重み付けした処置を受けた(広告を見た)場合の売上( $Y(1)$ )を予測する回帰モデル $\mu_1(x)$ を作成します。 $\hat{\mu}_1(x) = M_2 \biggr(Y^1 \sim X^1, weights = \frac{1 - g(X^1)}{g(X^1)} \biggr)$
処置を受けていない(広告を見ていない)場合の売上の実測値と、処置を受けていない(広告を見ていない)グループが処置を受けた(広告を見た)場合の売上の予測値の差 $D^0$ (ATT)を算出します。 $\hat{D}^0 = \hat{\mu}_1(X^0) - Y^0$
処置を受けた(広告を見た)場合の売上の実測値と、処置を受けた(広告を見た)グループが処置を受けていない(広告を見ていない)場合の売上の予測値の差 $D^1$ (ATU)を算出します。 $\hat{D}^1 = Y^1 - \hat{\mu}_0(X^1)$
共変量 $X_0, X_1$ と売上の実測値と予測値の差の推定値 $\hat{D}^0, \hat{D}^1$ を結合したモデルで効果 $\tau$ を推定します。 $\hat{\tau} = M_3(\hat{D}^0|\hat{D}^1 \sim X^0|X^1)$

Pythonによる実装

ダイエット商品の広告効果を例に、Pythonでデータを作成し、DA-Learnerを用いて効果を推定してみます。

設定

とある健康食品会社では、ECにてダイエット商品を販売しています。ダイエット商品の販促のため広告を回した結果から広告効果を推定することになりました。

手元には下記のデータがあります。

iさんのダイエットへの意識の高さを表す指標 $x_i$
- 一様分布(-1, 1)に従う
iさんが広告を見たかどうかを表すダミー変数 $T_i$
- 下記のモデルによって決定されるとする $T_i = \left\{\begin{array}{ll} 1 & (x_i + noise_i > 0): 広告を見た \\ \\ 0 & (x_i + noise_i \leq 0): 広告を見てない \end{array}\right.$
- $noise_i$ は標準正規分布に従う
iさんの購入金額 $Y_i$
- $x_i$ と $T_i$ の影響を受け、真のモデルは下記のように表される $Y_i = 1000(\: [\: 3 + \tau_i T_i + 3x_i + noise_i \:] \: )$
- ただし $[x]$ は、 $n \leq x < n+1$ を満たす整数nを表す
- また、効果 $\tau_i$ は $x_i$ によって異なる $\tau_i = \left\{\begin{array}{ll} 1 & (x_i \leq 0) \\ \\ 2 & (0 < x_i \leq 0.5) \\ \\ 3 & (0.5 < x_i \leq 1) \end{array}\right.$
- $noise_i$ は一様分布(0, 1)に従う

データの作成

Pythonで上記の設定を満たすデータを作成します。

# 必要なライブラリをインポート
import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib
# グラフをJupyter上に描画
%matplotlib inline

# データ数
size = 1000
# シードの設定
np.random.seed(0)

# ダイエットへの意識の高さ
x = np.random.uniform(-1, 1, size)
noise = np.random.randn(size)

# 広告ダミー
_T = x + noise
T = np.where(_T>0, 1, 0)

# ダイエットへの意識の高さによって広告効果が異なる
t = np.zeros(size)
for i in range(size):
    if x[i] < 0:
        t[i] = 1
    elif x[i] < 0.5:
        t[i] = 2
    else:
        t[i] = 3
        
# 売上
noise = np.random.uniform(0, 1, size)
Y = np.clip(t*T + 3*x + 3 + noise, 0, 10).astype("int") * 1000

# 売上のヒストグラムを描画
plt.hist(Y)
plt.xlabel("ダイエット商品の売上(単位:円)")
plt.show()

(出力結果)

DA-Learnerによる効果検証

今回は売上 $Y$ を予測するモデルにランダムフォレストを選択して、効果を推定していきます。

# 必要なライブラリをインポート
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LogisticRegression

# 手順1: 傾向スコアを算出
lr = LogisticRegression().fit(df[["x"]], T)
ps = lr.predict_proba(df[["x"]])[:, 1]
df["ps"] = ps

# 手順2: 広告を見ていないグループの傾向スコアで重み付けした売上の予測モデルを作成
X0 = df[df["T"]==0][["x"]]
Y0 = df[df["T"]==0]["Y"]
ps0 = df[df["T"]==0]["ps"]
weights0 = ps0 / (1 - ps0)
mu0 = RandomForestRegressor(max_depth=3, random_state=0).fit(X0, Y0, sample_weight=weights0)

# 手順3: 広告を見たグループの傾向スコアで重み付けした売上の予測モデルを作成
X1 = df[df["T"]==1][["x"]]
Y1 = df[df["T"]==1]["Y"]
ps1 = df[df["T"]==1]["ps"]
weights1 = (1 - ps1) / ps1
mu1 = RandomForestRegressor(max_depth=3, random_state=0).fit(X1, Y1, sample_weight=weights1)

# 手順4: ATTを算出
D0 = mu1.predict(X0) - Y0

# 手順5: ATUを算出
D1 = Y1 - mu0.predict(X1)

# 手順6: 共変量X0,X1と効果の推定値D0,D1を結合したデータから効果を推定するモデルを作成
X_concat = np.concatenate((X0, X1))
D_concat = np.concatenate((D0, D1))
mu2 = RandomForestRegressor(max_depth=3, random_state=0).fit(X_concat, D_concat)

# 効果の推定
tau = mu2.predict(X_concat)

# 推定された効果の描画
plt.scatter(df[["x"]], tau, alpha=0.3)
plt.hlines(1000, -1, 0, linestyles='--', color="red")
plt.hlines(1000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(2000, 0, 0.5, linestyles='--', color="red")
plt.hlines(2000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(3000, 0.5, 1.0, linestyles='--', color="red")
plt.hlines(3000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.xlabel("ダイエットへの意識の高さ")
plt.ylabel("広告効果")
plt.ylim(0, 4000)
plt.show()

(出力結果)

EconMLの紹介

EconMLとは、観察可能なデータから機械学習を用いて条件付き平均処置効果(CATE)を推定するPythonパッケージです。Microsoft社が開発しているもので、さまざまなMeta-Learner系やCausal-Tree系の因果推論手法が実装されています。

EconMLの公式ドキュメントはこちらです。
https://econml.azurewebsites.net/

EconMLによるDA-Learnerの実装

DA-Learnerは推定に利用する機械学習モデルを選択するだけで実装できます。
今回はランダムフォレスト回帰をモデルに選択します。

# 必要なライブラリをインポート
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LogisticRegression
from econml.metalearners import DomainAdaptationLearner

# モデルの構築
models = RandomForestRegressor(max_depth=3, random_state=0)
final_models = RandomForestRegressor(max_depth=3, random_state=0)
propensity_model = LogisticRegression()
DA_learner = DomainAdaptationLearner(models=models, 
                                     final_models=final_models, 
                                     propensity_model=propensity_model)
DA_learner.fit(Y, T, X=x.reshape(-1, 1))

# 効果の推定
tau = DA_learner.effect(x.reshape(-1, 1))

# 推定された効果の可視化
plt.scatter(df[["x"]], tau, alpha=0.3)
plt.hlines(1000, -1, 0, linestyles='--', color="red")
plt.hlines(1000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(2000, 0, 0.5, linestyles='--', color="red")
plt.hlines(2000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(3000, 0.5, 1.0, linestyles='--', color="red")
plt.hlines(3000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.xlabel("ダイエットへの意識の高さ")
plt.ylabel("広告効果")
plt.ylim(0, 4000)
plt.show()

(出力結果)

先ほどと同様の結果が得られました。

補足

先ほども少し触れましたが、現実社会においては広告効果を推定したい場合、広告を見た人もそうでない人もその多くが商品を購入しないというシーンがほとんどです。

先ほどの例で売上 $Y$ の真のモデルを

Y_i = 1000(\: [\: \tau_i T_i + 3x_i + noise_i \:] \: )

とし、Pythonで実装すると下記のようになります。

# 必要なライブラリをインポート
import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib
# グラフをJupyter上に描画
%matplotlib inline

# データ数
size = 1000
# シードの設定
np.random.seed(0)

# ダイエットへの意識の高さ
x = np.random.uniform(-1, 1, size)
noise = np.random.randn(size)

# 広告ダミー
_T = x + noise
T = np.where(_T>0, 1, 0)

# ダイエットへの意識の高さによって広告効果が異なる
t = np.zeros(size)
for i in range(size):
    if x[i] < 0:
        t[i] = 1
    elif x[i] < 0.5:
        t[i] = 2
    else:
        t[i] = 3
        
# 売上
noise = np.random.uniform(0, 1, size)
Y = np.clip(t*T + 3*x + noise, 0, 10).astype("int") * 1000
# Y = np.clip(t*T + 3*x + 3 + noise, 0, 10).astype("int") * 1000

# 売上のヒストグラムを描画
plt.hist(Y)
plt.xlabel("ダイエット商品の売上(単位:円)")
plt.show()

(出力結果)

このデータにおいて、DA-Learnerを実装してみます。

# 必要なライブラリをインポート
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LogisticRegression
from econml.metalearners import DomainAdaptationLearner

# モデルの構築
models = RandomForestRegressor(max_depth=3, random_state=0)
final_models = RandomForestRegressor(max_depth=3, random_state=0)
propensity_model = LogisticRegression()
DA_learner = DomainAdaptationLearner(models=models, 
                                     final_models=final_models, 
                                     propensity_model=propensity_model)
DA_learner.fit(Y, T, X=x.reshape(-1, 1))

# 効果の推定
tau = DA_learner.effect(x.reshape(-1, 1))

# 推定された効果の可視化
plt.scatter(df[["x"]], tau, alpha=0.3)
plt.hlines(1000, -1, 0, linestyles='--', color="red")
plt.hlines(1000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(2000, 0, 0.5, linestyles='--', color="red")
plt.hlines(2000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.hlines(3000, 0.5, 1.0, linestyles='--', color="red")
plt.hlines(3000, -1, 1, linestyles='--', color="red", alpha=0.3)
plt.xlabel("ダイエットへの意識の高さ")
plt.ylabel("広告効果")
plt.ylim(0, 4000)
plt.show()

(出力結果)

特にダイエットへの意識が低いグループの広告効果において、推定の精度がかなり悪いようです。

参考文献

EconML公式ドキュメント
CausalML公式ドキュメント
Causal Inference for The Brave and True
Sören R. Künzel, Jasjeet S. Sekhon, Peter J. Bickel, Bin Yu 「Meta-learners for Estimating Heterogeneous Treatment Effects using Machine Learning」(2017)

おわりに

最後まで読んでいただきありがとうございました。他にも「Python×データ分析」をメインテーマに記事を執筆しているので、参考にしていただけたら幸いです。内容の誤り等がございましたら、コメントにてご指摘くださいませ。

他にも下記のような記事を書いています。ご一読いただけますと幸いです。

また、過去にLTや勉強会で発表した資料は下記リンクにまとめてあります。ぜひ、ご一読くださいませ。
https://speakerdeck.com/s1ok69oo

はじめに

機械学習を用いた因果推論

Meta-Leanrerとは

DA-Learnerとは

Pythonによる実装

設定

データの作成

DA-Learnerによる効果検証

EconMLの紹介

EconMLによるDA-Learnerの実装

補足

参考文献

おわりに

Discussion