Zenn
💡

論文紹介"Deep IV", 深層学習×因果推論での反実仮想予測モデル

に公開
ディープラーニング
因果推論
反実仮想
操作変数
施策介入
tech

Deep IV — 操作変数 × 深層学習で反実仮想を推定する

“Deep IV: A Flexible Approach for Counterfactual Prediction” (Hartford et al., 2017):contentReference[oaicite:0]{index=0}

今回は、"Deep IV: A Flexible Approach for Counterfactual Prediction"という論文を紹介します。深層学習に因果推論を掛け合わせ、反実仮想の精緻な予測を可能にした画期的な手法論文です。

紹介論文:
Hartford, J., Lewis, G., Leyton-Brown, K., & Taddy, M. (2017). Deep IV: A flexible approach for counterfactual prediction. In D. Precup & Y. W. Teh (Eds.), Proceedings of the 34th International Conference on Machine Learning (Vol. 70, pp. 1414–1423). PMLR. https://proceedings.mlr.press/v70/hartford17a.html

目的
交絡（endogeneity）を伴う観測データから、政策介入後の結果 E[Y | do(P), X] を深層学習で柔軟に推定する。

目次

  1. 背景となる因果推論と操作変数法
  2. Deep IV のアイデアとネットワーク構成
  3. 数式で理解する Deep IV
  4. 最適化と実装のポイント
  5. 実験結果ハイライト
  6. Python/EconML での実装例
  7. メリット・注意点・今後の発展
  8. 参考文献

<a id="section1"></a>

1. 背景となる因果推論と操作変数法

「値上げしたら売上はどう変わるか？」— これは 反実仮想 (counterfactual) の問い。
観測データには “需要ショック” など観測不能な交絡 e が混ざり、単純な機械学習では P と e が相関してバイアスが生じる。

1.1 構造方程式

y = g(p, x) + e
  • y … 結果（売上など）
  • p … 処置／政策変数（価格など）
  • x … 観測共変量（季節など）
  • e … 潜在交絡（需要ショック）

1.2 操作変数 (Instrumental Variable, IV)

  • 関連性 Relevance : z \not\!\perp\!\!\!\perp p\mid x
  • 排除制約 Exclusion : z \perp\!\!\!\perp y\mid p, x, e
  • 外生性 Unconfounded Instrument : z \perp\!\!\!\perp e\mid x

IV があれば次式が成り立つ:

\mathbb{E}[\,y \mid x, z\,] \;=\; \int h(p, x)\;dF(p\mid x, z)

ここで

h(p, x) = g(p, x) + \mathbb{E}[e\mid x]

が求めたい構造関数。:contentReference[oaicite:1]{index=1}

<a id="section2"></a>

2. Deep IV のアイデアとネットワーク構成

操作変数法を 「2 段階ニューラルネット」 で実装。
ユーザー資料の概念図が直感的なので参考 (深野 2025):contentReference[oaicite:2]{index=2}。

段階 目的 ネットワーク
第1段階 F(p\mid x, z) — 処置の条件付き分布を推定 Mixture Density Network — 離散 p は softmax、連続 p は混合ガウス
第2段階 h_\theta(p,x) — 結果モデルを学習 任意の DNN。損失に モンテカルロ積分 を埋め込む

<a id="section3"></a>

3. 数式で理解する Deep IV

3.1 最適化目標

観測 D=\{(y_t,p_t,x_t,z_t)\}_{t=1}^N に対し

\mathcal{L}(\theta) \;=\; \frac1N \sum_{t=1}^N \Bigl( y_t - \int h_\theta(p,x_t)\,dF_{\phi}(p\mid x_t,z_t) \Bigr)^2
  • F_\phi : 第1段階で学習した分布
  • h_\theta : 第2段階ネットワーク

3.2 モンテカルロによる近似

\int h_\theta(p,x_t)\,dF_\phi \;\approx\; \frac1B\sum_{b=1}^B h_\theta(p_{tb}, x_t),\quad p_{tb}\sim F_\phi

結果、勾配推定は

\nabla_\theta \mathcal{L} \;\approx\; -\frac{2}{N}\sum_{t} \Bigl( y_t - \frac1B\sum_{b} h_\theta(p_{tb},x_t)\Bigr) \;\frac1B\sum_{b} \nabla_\theta h_\theta(p_{tb},x_t)

ポイントは サンプルを毎イテレーション独立に引き直す こと。:contentReference[oaicite:3]{index=3}

<a id="section4"></a>

4. 最適化と実装のポイント

  • 混合密度ネットワーク (MDN)
    連続 p なら K 成分の混合ガウスを出力。
  • ドロップアウト & L2 正則化
    過学習を防ぎ、検証損失の低下が因果 MSE 低下と強く相関。
  • 損失の上界 vs. 不偏推定
    計算制約下では「上界損失 (B=1)」の方が実践的に安定。

<a id="section5"></a>

5. 実験結果ハイライト

5.1 シミュレーション

  • 低次元 (価格 × 需要ショック)
    Deep IV は 2SLS や Kernel IV を大幅に上回り、サンプル増で急速に収束。
  • 高次元 (手書き数字画像)
    画像→タイプを自動抽出しつつ因果効果を復元。20k サンプルで実験データの “完全ランダム化上限” に迫る MSE を達成。

5.2 実データ (Bing 検索広告)

  • 順位効果を再推定。単純回帰は –70 % を誇張、Deep IV は –12 % と現実的に。
  • Goldman & Rao (2014) の手作業特徴設計を 完全自動 で再現。

<a id="section6"></a>

6. Python/EconML での実装例

from econml.iv.nnet import DeepIVEstimator
from tensorflow.keras import layers, models

# 第1段階ネット
def treatment_net(xz):
    model = models.Sequential([
        layers.Dense(128, activation='relu'),
        layers.Dense(128, activation='relu'),
        layers.Dense(n_components * 3)  # 混合ガウス: 重み+μ+σ
    ])
    return model

# 第2段階ネット
def outcome_net(px):
    model = models.Sequential([
        layers.Dense(256, activation='relu'),
        layers.Dropout(0.5),
        layers.Dense(128, activation='relu'),
        layers.Dense(1)
    ])
    return model

deepiv = DeepIVEstimator(
    n_components=10,           # 混合数 K
    m=lambda xz: treatment_net(xz),
    h=lambda px: outcome_net(px),
    n_samples=1,               # モンテカルロ B
    optimizer='adam',
    first_stage_options={'batch_size': 1024, 'epochs': 30},
    second_stage_options={'batch_size': 1024, 'epochs': 50}
)

deepiv.fit(Y, T, X=X, Z=Z)

<a id="section7"></a>

7. メリット・注意点・今後の発展

メリット 注意点
柔軟性 画像・テキストなど高次元 X をそのまま入力可能 解釈性はブラックボックス寄り
スケーラビリティ 計算量はほぼ線形、数千万サンプルでも学習可 MDN の混合数 K はチューニング要
ハイパラ選定 検証損失をそのまま因果性能指標に利用可 IV が弱いと第1段階で過学習→バイアス
ライブラリ実装 econml, dowhy で即利用 IV 妥当性検証 (関連性・排除制約) は従来通り必須

発展例

  • 量的効果だけでなく 分布や分位点推定 (Deep Quantile IV)
  • 複数 IV や 時間依存 (パネル／時系列) への拡張
  • 処置選択を含む 政策最適化 (Policy Learning)

<a id="section8"></a>

8. 参考文献

  • Hartford, J., Lewis, G., Leyton-Brown, K., Taddy, M.
    “Deep IV: A Flexible Approach for Counterfactual Prediction.” ICML 2017.:contentReference[oaicite:4]{index=4}
  • Goldman, M. & Rao, J. “Experiments as Instruments.” 2014.

Discussion