【統計検定2級/学習メモ】独立性または無相関が成り立つ場合の共分散

参考書や問題集の解説では、$W=X+Y$としたときの$W$の分散を、以下のように単純な形で記載していることが多い。

$$V[W]=V[X+Y]=V[X]+V[Y]$$

本当は、以下の形が原型になる。

$$\begin{aligned} V[X+Y] &= E[(X+Y-E[X+Y])^2]\\ &= E[(X-E[X]+Y-E[Y])^2]\\ &=E[(X-E[X])^2+2(X-E[X])(Y-E[Y])+(Y-E[Y])^2]\\ &=E[(X-E[X])^2]+E[(Y-E[Y])^2]+2E[(X-E[X])(Y-E[Y])]\\ &=V[X]+V[Y]+2Cov[X,Y] \end{aligned}$$

これに対して、確率変数 $X$, $Y$が無相関もしくは独立の場合は、$Cov[X,Y]=0$になるから、$V[X+Y]=V[X]+V[Y]$ という分散の和の形で表現できるというだけの話。
※もちろん、参考書や問題文には「確率変数 $X$ と $Y$が独立である」と明記されているはず。

ここで、確率変数 $X$, $Y$が無相関もしくは独立の場合は、$Cov[X,Y]=0$ になるのは何故か？についてメモしておく。

(1) 独立性→共分散ゼロ

まず、確率変数 $X$ と $Y$ が独立であるとき、同時確率分布を考えて、以下が成り立つ。

$$E[XY] = E[X]E[Y]$$

さらに、以下のように、共分散の定義と期待値の線形性を使って、以下の形に展開できる。

$$\begin{aligned} Cov[X,Y] &= E[(X-E[X])(Y-E[Y])] \\ &= E[XY-XE[Y]-YE[X]+E[X]E[Y]] \\ &= E[XY]-E[XE[Y]]-E[YE[X]]+E[E[X]E[Y]] \\ &= E[XY]-E[X]E[Y]-E[X]E[Y]+E[X]E[Y]\\ &= E[XY]-E[X]E[Y] \end{aligned}$$

以上から、

$$\begin{aligned} Cov[X,Y] &= E[XY]-E[X]E[Y] \\ &=E[X]E[Y]-E[X]E[Y] \\ &=0 \end{aligned}$$

となり、独立性が成り立てば、共分散はゼロになる。

(2) 無相関→共分散ゼロ

これは、シンプルに無相関の定義そのもの。

$$Cov[X,Y] =0$$

相関係数は以下の式で表される。

$$\begin{aligned} Corr[X,Y] &= \frac{Cov[X,Y]}{\sqrt{V[X]}\sqrt{V[Y]}} \\ &= \frac{E[(X-E[X])(Y-E[Y])]}{\sqrt{V[X]}\sqrt{V[Y]}} \end{aligned}$$

分子は、共分散によってどれくらい直線的な関係にあるかをプラス点とマイナス点の合計で表現している（余裕があればあとで直感的理解のための作図をする）。
分母は、双方の標準偏差の積で割ることで標準化し、 $-1 \leq Corr[X,Y] \leq 1$ におさまるように調整を加えている。

なので、本質的には（？）相関係数、つまり相関の度合いは共分散そのもので、無相関ということは共分散がゼロであるということになる。