条件付き期待値と分散の公式と証明

導出する公式

求める公式を提示します．

$$EX[X]=EY[EX∣Y[X]]VX[X]=EY[VX∣Y[X]]+VY[EX∣Y[X]] \begin{aligned} \mathbb{E}_{X}[X] & = \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}[X]\right] \\ \mathbb{V}_{X}[X] & = \mathbb{E}_{Y}\left[V_{X \mid Y}[X]\right] + V_{Y}\left[\mathbb{E}_{X \mid Y}[X]\right] \end{aligned}$$

条件付き期待値の公式を導出

簡単にするため，ここでは積分の順序が入れ替えられるとします．

$$EX[g(x)]=∫g(x)fX(x)dx=∬g(x)fX,Y(x,y)dydx=∬g(x)fX,Y(x,y)fY(y)fY(y)dydx=∬g(x)fX,Y(x,y)fY(y)fY(y)dxdy=∫{∫g(x)fX,Y(x,y)fY(y)dx}fY(y)dy=∫EX∣Y[g(x)]fY(y)dy=EY[EX∣Y[g(x)]] \begin{aligned}\mathbb{E}_{X}[g(x)] & = \int g(x) f_{X}(x) d x \\ & = \iint g(x) f_{X, Y}(x, y) d y d x \\ & =\iint g(x) \frac{f_{X, Y}(x, y)}{f_{Y}(y)} f_{Y}(y) d y d x \\ & = \iint g(x) \frac{f_{X, Y}(x, y)}{f_{Y}(y)} f_{Y}(y) d x d y \\ & = \int\left\{\int g(x) \frac{f_{X, Y}(x, y)}{f_{Y}(y)} d x\right\} f_{Y}(y) d y \\ & = \int \mathbb{E}_{X|Y}[g(x)] f_{Y}(y) d y \\ & = \mathbb{E}_{Y}\left[\mathbb{E}_{X|Y}[g(x)]\right] \end{aligned}$$

途中で以下の変換が出てきますが，右辺が左辺の定義になっていることを利用しています．

$$fX∣Y(x)=fX,Y(x,y)fY(y) f_{X|Y}(x) = \frac{f_{X, Y}(x, y)}{f_{Y}(y)}$$

上記の式が成り立つことを用いれば，以下の等式が成り立つことがわかると思います．

$$∫g(x)fX,Y(x,y)fY(y)dx=EX∣Y[g(x)] \int g(x) \frac{f_{X, Y}(x, y)}{f_{Y}(y)} d x = \mathbb{E}_{X|Y}[g(x)]$$

条件付き分散の公式を導出

一つ目の条件つき期待値の公式を用いると二つ目の公式を導出できます．

$$VX[X]=E[X2]−E[X]2=EY[EX∣Y[X2]]−EY[EX∣Y[X]]2=EY[VX∣Y[X]+EX∣Y[X]2]−EY[EX∣Y[X]]2=EY[VX∣Y[X]]+EY[EX∣Y[X]2]−EY[EX∣Y[X]]2=EY[VX∣Y[X]]+VY[EX∣Y[X]] \begin{aligned} \mathbb{V}_{X}[X] & = \mathbb{E}\left[X^{2}\right]-\mathbb{E}[X]^{2} \\ & = \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}\left[X^{2}\right]\right] - \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}[X]\right]^{2} \\ & = \mathbb{E}_{Y}\left[V_{X \mid Y}[X] + \mathbb{E}_{X \mid Y}[X]^{2}\right] - \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}[X]\right]^{2} \\ & = \mathbb{E}_{Y}\left[V_{X \mid Y}[X]\right] + \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}[X]^{2}\right] - \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}[X]\right]^{2} \\ & = \mathbb{E}_{Y}\left[V_{X \mid Y}[X]\right] + V_{Y}\left[\mathbb{E}_{X \mid Y}[X]\right] \end{aligned}$$

最後の変換が若干わかりにくいです．

$$+EY[EX∣Y[X]2]−EY[EX∣Y[X]]2 + \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}[X]^{2}\right] - \mathbb{E}_{Y}\left[\mathbb{E}_{X \mid Y}[X]\right]^{2}$$

上記の部分を以下のように見ることで理解しやすくなるかと思います．

$$+EY[h(Y)2]−EY[h(Y)]2 + \mathbb{E}_{Y}\left[ h(Y)^{2} \right] - \mathbb{E}_{Y}\left[ h(Y) \right]^{2}$$

条件付き期待値 $EX∣Y[X]\mathbb{E}_{X \mid Y}[X]$ は $XX$ で積分するため，$YY$ の式になることに注意してください．