はじめに
統計的因果推論において、平均処置効果(ATE)を推定する方法の一つに傾向スコアを用いた逆確率重み付けという手法がある。
これを行う最も簡易な方法は、観測された結果変数について傾向スコアを用いた重みをつけて平均を取るというものである。
この方法については以下の記事でも紹介した：
https://zenn.dev/tatamiya/articles/480e024a517d5838ddc2
一方で同じ推定結果を、処置変数による結果変数への単回帰を傾向スコアを用いた重み付けして行うことによっても得ることができる。
本記事では、このような重み付き単回帰によって得られた結果と重み付き平均による結果とが一致することを、数式を用いて示す。
記号
X ... 共変量
T ... 処置変数(0 or 1)
Y^{(0)}, Y^{(1)} ... 潜在結果変数（それぞれ処置0,1に対応）
Y = TY^{(1)} + (1-T)Y^{(0)} ... （観測される）結果変数
この記事でしめすもの
データ\{(X_1, T_1, Y_1), (X_2, T_2, Y_2),..., (X_N, T_N, Y_N)\}と、それらに対応する既知の傾向スコアe_i=P(T=1\vert X_i)が与えられていたとする。
単回帰モデル
Y_i = \alpha + \beta T_i + \varepsilon_i
（\varepsilon_iは誤差項）に対して、以下のようなw_iで重み付けしてパラメータ推定を行う：
w_i = \frac{T_i}{e_i} + \frac{1-T_i}{1-e_i}. \tag{1}
このとき、係数\betaの推定値\hat{\beta}が、以下のように平均処置効果\tau_{\rm ATE}=E[Y^{(1)}-Y^{(0)}]を傾向スコアを用いた逆確率重み付け平均により推定した結果と一致することを示す：
\begin{aligned}
\hat{\beta} &= \left( \sum_{i=1}^N\frac{T_i}{e_i}\right)^{-1}
\sum_{i=1}^N\frac{T_i}{e_i}Y_i\\
&\qquad- \left( \sum_{i=1}^N \frac{1-T_i}{1-e_i} \right)^{-1} \sum_{i=1}^N \frac{1-T_i}{1-e_i} Y_i. \tag{2}
\end{aligned}
導出
以下では\sum_{i=1}^Nを\sum_iと略記する。
重み付きの回帰係数の推定
重み付き最小二乗法により以下を示す：
\begin{aligned}
\hat{\beta} = \frac{(\sum_i w_i)(\sum_i w_i Y_i T_i) - (\sum_i w_i T_i)(\sum_i w_i Y_i)}{(\sum_i w_i)(\sum_i w_i T_i^2) - (\sum_i w_i T_i)^2}. \tag{3}
\end{aligned}
重み付き残差平方和を以下のように定義する：
\begin{aligned}
L(\alpha, \beta) = \sum_i w_i (Y_i - \alpha - \beta T_i)^2.
\end{aligned}
これが最小になるパラメータ(\alpha, \beta)の組み合わせを探す。
そのためには、上記の重み付き残差平方和を\alpha, \betaで偏微分したものが0になればよい：
\begin{aligned}
\frac{\partial L(\alpha, \beta)}{\partial \alpha} &= -2\sum_i w_i (Y_i - \alpha - \beta T_i)=0\\
\frac{\partial L(\alpha, \beta)}{\partial \beta} &= -2 \sum_i w_i T_i (Y_i - \alpha - \beta T_i)=0.
\end{aligned}
これらを満たす\alpha=\hat{\alpha}, \beta=\hat{\beta}を求めるには、下記の連立方程式を解けばよい：
\begin{aligned}
(\sum_i w_i Y_i) - \beta (\sum_i w_i T_i) - \alpha (\sum_i w_i) = 0\\
(\sum_i w_i Y_i T_i ) - \beta (\sum_i w_i T_i^2) - \alpha (\sum_i w_i T_i) = 0
\end{aligned}
これを解くと式(3)が得られる。
回帰係数推定値とATEの一致
以下の関係
\begin{aligned}
T_i^2&=T_i\\
1 &= T_i + (1-T_i)
\end{aligned}
に注意して式(3)を変形すると、
\begin{aligned}
\hat{\beta} &= \frac{\{\sum_i T_i w_i\ + \sum_i (1-T_i)w_i\}(\sum_i w_i Y_i T_i) - (\sum_i w_i T_i)\{\sum_i w_i T_i Y_i + \sum_i w_i (1-T_i)Y_i\}}{(\sum_i w_i T_i)\{\sum_i w_i (1-T_i)\}}\\
&= \frac{\{ \sum_i (1-T_i)w_i\}(\sum_i w_i Y_i T_i) - (\sum_i w_i T_i)\{ \sum_i w_i (1-T_i)Y_i\}}{(\sum_i w_i T_i)\{\sum_i w_i (1-T_i)\}}\\
&= \frac{1}{\sum_i w_i T_i}\sum_i w_i T_i Y_i - \frac{1}{\sum_i w_i (1-T_i)} \sum_i w_i (1-T_i)Y_i \tag{4}
\end{aligned}
のようにできる。
さらに式(1)のw_i の定義と以下の関係
\begin{aligned}
(1-T_i)^2 &= (1-T_i)\\
T_i (1-T_i) &= 0
\end{aligned}
にも着目すると、
\begin{aligned}
w_i T_i = \frac{T_i}{e_i}, \quad w_i (1-T_i) = \frac{1-T_i}{1 - e_i}
\end{aligned}
が成立するので、これを式(4)に代入することで式(2)が得られる。
補足
係数推定値\hat{\beta}の別表現
式(3)で表した\hat{\beta}は、以下のように表現することもできる：
\begin{aligned}
\hat{\beta} = \frac{\sum_i w_i (Y_i - \bar{Y})(T_i - \bar{T})}{\sum_i w_i (T_i - \bar{T})^2}.
\end{aligned}
ただし、\bar{Y}, \bar{T}はそれぞれ\{Y_i\}, \{T_i\}の重み付き平均である：
\begin{aligned}
\bar{Y} &= \frac{1}{\sum_i w_i} \sum_i w_i Y_i\\
\bar{T} &= \frac{1}{\sum_i w_i} \sum_i w_i T_i.
\end{aligned}
切片推定値\hat{\alpha}について
切片推定値\hat{\alpha} = \bar{Y} - \hat{\beta} \bar{T}は、E[Y^{(0)}]の推定値と一致する：
\begin{aligned}
\hat{\alpha} = \left( \sum_{i=1}^N \frac{1-T_i}{1-e_i} \right)^{-1} \sum_{i=1}^N \frac{1-T_i}{1-e_i} Y_i.
\end{aligned}
Discussion