様々な確率分布の期待値・分散とその証明まとめ(ベルヌーイ分布、二項分布、幾何分布、ポアソン分布、一様分布、正規分布、指数分布)

ベルヌーイ分布、二項分布、一様分布はすぐ導出できるし、ポアソン分布、正規分布は式見たらすぐわかるからちゃんと結果を覚えなくちゃいけないのは幾何分布、指数分布だけだ。

ベルヌーイ分布

[定義] ベルヌーイ分布の確率関数は

$$\boxed{ p(0) = 1-p, \quad p(1) = p }$$

であり、確率変数 $X$ がベルヌーイ分布に従うとき $X \sim B(1, p)$ と書く。
[定理] $X \sim B(1, p)$ の時、期待値と分散は

$$\boxed{ \!\begin{aligned} &E[X] = p\\ &V[X] = p(1-p) \end{aligned} }$$

証明

$$\begin{aligned} E[X] &=0 \cdot P(0)+1 \cdot P(1) = p\\ E[X^2] &=0^2 \cdot P(0)+1^2 \cdot P(1) = p^2\\ V[X] &=E[X^2]-(E[X])^2=p-p^2=p(1-p) \end{aligned}$$

[コメント] 期待値は定義通り計算します。分散は分散と期待値の関係を用いて計算します。分散と期待値の関係: (分散)=(二乗の期待値)-(期待値の二乗)

分散と期待値の関係を用いて $E[X]$ 、 $E[X^2]$ 、$V[X]$ の順に計算する証明の流れはどの分布でも基本同じ

二項分布

[定義] (n, p)-二項分布の確率関数は

$$\boxed{ p(k) = {}_n \mathrm{C}_k p^k (1-p)^{n-k} }$$

であり、確率変数 $X$ が(n, p)-二項分布に従うとき $X \sim B(n, p)$ と書く。
[定理] $X \sim B(n, p)$ の時、期待値と分散は

$$\boxed{ \!\begin{aligned} &E[X] = np\\ &V[X] = np(1-p) \\ \end{aligned} }$$

証明

$f(x)=(px+1-p)^n$ とすると

$$\begin{aligned} &f(x)=(px+1-p)^n= \sum_{k=1}^{n} {}_n \mathrm{C}_k (px)^k(1-p)^{n-k} \quad (\because \text{二項定理})\\ &f'(x)=pn(px+1-p)^{n-1}= \sum_{k=1}^{n} k {}_n \mathrm{C}_k p^kx^{k-1}(1-p)^{n-k} \\ &f''(x)=p^2n(n-1)(px+1-p)^{n-2}= \sum_{k=1}^{n} k(k-1){}_n \mathrm{C}_k p^kx^{k-2}(1-p)^{n-k} \end{aligned}$$

$f'(x)$ , $f''(x)$ に $x=1$ を代入して

$$\begin{aligned} &f'(1)=pn= \sum_{k=1}^{n} k {}_n \mathrm{C}_k p^k(1-p)^{n-k} \\ \end{aligned}$$

$$\begin{aligned} f''(1)=p^2n(n-1) &= \sum_{k=1}^{n} k(k-1){}_n \mathrm{C}_k p^k(1-p)^{n-k} \\ &= \sum_{k=1}^{n} k^2{}_n \mathrm{C}_k p^k(1-p)^{n-k} - \sum_{k=1}^{n} k{}_n \mathrm{C}_k p^k(1-p)^{n-k} \\ &= \sum_{k=1}^{n} k^2{}_n \mathrm{C}_k p^k(1-p)^{n-k} - pn \end{aligned}$$

よって、

$$\begin{aligned} E[X] &=\sum_{k=1}^{n} k {}_n \mathrm{C}_k p^k(1-p)^{n-k} \\ &=np \\ E[X^2] &=\sum_{k=1}^{n} k^2{}_n \mathrm{C}_k p^k(1-p)^{n-k} \\ &=p^2n(n-1)+pn \\ V[X] &= E[X^2] - (E[X])^2 \\ &= np(1-p) \end{aligned}$$

[コメント] このようなコンビネーションがくっついたΣは二項定理で多項式を作って処理します。 多項式 $f(x)$ は $x=1$ を代入した時に欲しい式の形になるように定義します。 $\sum_{k=1}^{n} k$ などの形は作った多項式を微分して作ります。

二項分布の期待値、分散はベルヌーイ分布のn倍になっている。

[定理] 独立にベルヌーイ分布 $B(1, p)$ に従う確率変数 $n$ 個の和の分布は二項分布 $B(n, p)$ に従う。

証明

独立な確率変数 $X_1, X_2, \cdots , X_n$ がベルヌーイ分布に従い、確率変数 $S$ が $S = \sum_{i=1}^{n} X_i$ で定義されるとすると、

$$\begin{aligned} P(S=k) &= \sum_{s_1+s_2+ \cdots +s_n = k}P\left(X_1=s_1, X_2=s_2, \cdots ,X_n=s_n \right) \\ &= \sum_{s_1+s_2+ \cdots +s_n = k}P(X_1=s_1)P(X_2=s_2) \cdots P(X_n=s_n) \\ & \quad (\because X_1, X_2, \cdots , X_n \text{は独立な確率変数}) \\ &= \sum_{s_1+s_2+ \cdots +s_n = k}p^k (1-p)^{n-k} \\ &= {}_n \mathrm{C}_k p^k (1-p)^{n-k} \end{aligned}$$

となり、$S$ は(n, p)-二項分布に従う。

(補足)
[定義] 確率変数 $X$ , $Y$ が独立であるとは次が成立することである。

$$P(X=x, Y=y)=P(X=x)P(Y=y)$$

cf. これはもっと確率変数が増えても同様です。

[注意] $\sum_{s_1+s_2+ \cdots +s_n = k}$ は $s_1+s_2+ \cdots +s_n = k$ を満たす全ての $s_1, s_2, \cdots, s_n$ について足し合わせることを意味します。

[コメント]
例えば、 $X_1 \sim B(1, p)$ , $X_2 \sim B(1, p)$ の場合、 $X_1+X_2 \sim B(2, p)$ になります。この時 $X_1+X_2$ の期待値と分散は簡単に求めることができます。 $X_1$ , $X_2$ は独立に $B(1, p)$ に従うので、期待値は $E[X_1+X_2]=E[X_1]+E[X_2]=p+p=2p$ 、分散は $V[X_1+X_2]=V[X_1]+V[X_2]=p(1-p)+p(1-p)=2p(1-p)$ となります。

期待値と分散の線形性より(つまり独立な確率変数の和の期待値と分散は確率変数の期待値の和と分散の和となるので)、二項分布の期待値と分散がベルヌーイ分布のn倍になるのは当然である。

二項定理を使って計算する方法は分かりやすい。しかし独立にベルヌーイ分布に従う確率変数の和の分布が二項分布に従うことと期待値と分散の線形性を用いて計算する方法の方が直観的だし速いのでどちらも記憶しておくべきである。また、「独立にベルヌーイ分布に従う確率変数の和の分布は二項分布に従うこと」を定義とする本やサイトもあり勿論そのように定義しても良い。結局のところ確率関数の式がそうであることと「独立にベルヌーイ分布に従う確率変数の和の分布は二項分布に従うこと」のどちらを定義にしてどちらを定理とするのかの違いである。

幾何分布

[定義] p-幾何分布の確率関数は

$$\boxed{ p(k) = (1-p)^{k-1} p }$$

[定理] $X$ がp-幾何分布に従う時、期待値と分散は

$$\boxed{ \!\begin{aligned} &E[X] = \frac{1}{p}\\ &V[X] = \frac{1-p}{p^2} \end{aligned} }$$

証明

$0<1-p<1$ なので

$$\begin{aligned} &\sum_{n=1}^\infty (1-p)^nx^n=\frac{1}{1-(1-p)x} \quad (\because \text{無限等比級数の公式})\\ &\sum_{n=1}^\infty n(1-p)^nx^{n-1}=\frac{1-p}{(1-(1-p)x)^2} \quad (\because \text{上式を微分}) \quad\cdots (1)\\ &\sum_{n=1}^\infty n(n-1)(1-p)^nx^{n-2}=\frac{2(1-p)^2}{(1-(1-p)x)^3} \quad (\because \text{上式を微分}) \quad\cdots (2) \end{aligned}$$

よって

$$\begin{aligned} E[X]&=\sum_{n=1}^\infty n(1-p)^{n-1}p=\frac{1}{p} \quad(\because\text{式(1)}) \\ E[X^2]&=\sum_{n=1}^\infty n^2(1-p)^{n-1}p \\ &=\sum_{n=1}^\infty (n(n-1)+n)(1-p)^{n-1}p \\ &=\frac{p}{1-p} \sum_{n=1}^\infty n(n-1)(1-p)^n + \frac{p}{1-p} \sum_{n=1}^\infty n(1-p)^n \\ &=\frac{p}{1-p} \cdot \frac{1-p}{p^2} + \frac{p}{1-p} \cdot \frac{2(1-p)^2}{p^3} \quad(\because\text{式(2), 式(1)に} x=1 \text{を代入}) \\ &=\frac{1}{p} + \frac{2(1-p)}{p^2} \\ V[X]&=E[X^2]-(E[X])^2 \\ &=\frac{1}{p} + \frac{2(1-p)}{p^2} - \left(\frac{1}{p}\right)^2 \\ &=\frac{1-p}{p^2} \end{aligned}$$

証明はどういう関数をもってきて微分すると上手くいくのかだけ覚えておくと後は計算を頑張るだけである。結果の期待値と分散の式は覚えておく。

ポアソン分布

[定義] ポアソン分布の確率密度関数は

$$\boxed{ p(k) = e^{-\lambda}\frac{\lambda ^{k}}{k!} }$$

[定理]　$X$ がポアソン分布に従う時、期待値と分散は

$$\boxed{ \!\begin{aligned} &E[X] = \lambda\\ &V[X] = \lambda \end{aligned} }$$

証明

$$\begin{aligned} E[X] &= \sum_{k=0}^\infty ke^{-\lambda}\frac{{\lambda}^k}{k!} \\ &= e^{-\lambda}\lambda\sum_{k=0}^\infty \frac{{\lambda}^{k-1}}{(k-1)!} \\ &= e^{-\lambda}\lambda e^{\lambda} \quad(\because e^x\text{のテイラー展開}) \\ &= \lambda \\ E[X^2] &= \sum_{k=0}^\infty k^2e^{-\lambda}\frac{\lambda^k}{k!} \\ &= \sum_{k=0}^\infty ke^{-\lambda}\frac{\lambda^k}{(k-1)!} \\ &= \sum_{k=0}^\infty (k-1+1)e^{-\lambda}\frac{\lambda^k}{(k-1)!} \\ &= \sum_{k=0}^\infty \left\{(k-1)e^{-\lambda}\frac{\lambda^k}{(k-1)!} + e^{-\lambda}\frac{\lambda^k}{(k-1)!}\right\} \\ &= e^{-\lambda}\lambda^2\sum_{k=0}^\infty \frac{\lambda^{k-2}}{(k-2)!} + e^{-\lambda}\lambda\sum_{k=0}^\infty \frac{\lambda^{k-1}}{(k-1)!} \\ &= \lambda^2 + \lambda \quad(\because e^x\text{のテイラー展開})\\ V[X] &= E[X^2] - (E[X])^2 \\ &= \lambda \end{aligned}$$

証明はめんどくさそうに見えるけど、式を整理して $e^x$ のテイラー展開を使うだけ。期待値分散どっちも $\lambda$ は覚えやすい。

一様分布

[定義] $a<X<b$における一様分布の確率密度関数は

$$\boxed{ p(x) = \begin{cases} \frac{1}{b-a} & (a \leq x \leq b)\\ 0 & (x < a, x > b) \end{cases} }$$

[定理]　$X$ が一様分布に従う時、期待値と分散は

$$\boxed{ \!\begin{aligned} &E[X] = \frac{1}{2}(b-a)\\ &V[X] = \frac{1}{12}(b-a)^2 \end{aligned} }$$

証明

$$\begin{aligned} &E[X] = \int_{a}^{b}x\frac{1}{b-a}dx=\frac{1}{2}(b-a) \\ &E[X^2] = \int_{a}^{b}x^2\frac{1}{b-a}dx=\frac{1}{3}(b-a)^2 \\ &V[X] = E[X^2] - E[X] = \frac{1}{12}(b-a)^2 \end{aligned}$$

正規分布(ガウス分布)

[定義] 平均 $\mu$ , 分散 $\sigma^2$ 正規分布の確率密度関数は

$$\boxed{ p(x) = \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}} }$$

であり、確率変数 $X$ が正規分布に従うとき $X \sim N(\mu, \sigma^2)$ と書く。

[定理]　$X \sim N(\mu, \sigma^2)$ の時、期待値と分散は

$$\boxed{ \!\begin{aligned} &E[X] = \mu \\ &V[X] = \sigma^2 \end{aligned} }$$

証明

$$\begin{aligned} E[X] &= \int_{-\infty}^\infty x\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx \\ &= \int_{-\infty}^\infty (y+\mu)\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{y^2}{2\sigma^2}}dy \quad(\because y=x-\mu \text{で変数変換した}) \\ &= 0 + \mu \quad(\because \text{ガウス積分}) \\ &= \mu \\ V[X] &= \int_{-\infty}^\infty (x-\mu)^2\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx \\ &= \int_{-\infty}^\infty y^2\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{y^2}{2\sigma^2}}dy \quad(\because y=x-\mu \text{で変数変換した})\\ &= \sigma^2 \quad(\because \text{ガウス積分}) \end{aligned}$$(補足)

[定理] ガウス積分

$$\begin{aligned} &\int_{-\infty}^\infty e^{-ax^2} = \sqrt{\frac{\pi}{a}} \\ &\int_{-\infty}^\infty x^2e^{-ax^2} = \frac{1}{2}\sqrt{\frac{\pi}{a^3}} \end{aligned}$$

cf. xの次数が奇数の時は奇関数となって積分すると零になる。

$$ex. \int_{-\infty}^\infty xe^{-ax^2} = o$$

[証明] 略.

証明はガウス積分ですぐに解ける！正規分布の分散は直接定義式から計算した方がすぐにガウス積分を使えて速い。

指数分布

[定義] r-指数分布の確率密度関数は

$$\boxed{ p(x) = \begin{cases} re^{-rx} \quad(x\geq 0) & (x\geq 0)\\ 0 & (x < 0) \end{cases} }$$

[定理]　$X$ がr-指数分布に従う時、期待値と分散は

$$\boxed{ \!\begin{aligned} &E[X] = \frac{1}{r}\\ &V[X] = \frac{1}{r^2} \end{aligned} }$$

証明

$$\begin{aligned} E[X] &= \int_{0}^\infty xre^{-rx}dx \\ &= \left[ x\left(-e^{-rx}\right) - 1 \cdot \left(\frac{1}{r}e^{-rx}\right) \right]_0^\infty \quad(\because 部分積分)\\ &= \frac{1}{r} \\ E[X^2] &= \int_{0}^\infty x^2re^{-rx}dx \\ &= \left[ x^2(-e^{-rx})-2x(\frac{1}{r}e^{-rx})+2(-\frac{1}{r^2}e^{-rx}) \right]_0^\infty \quad(\because \text{部分積分})\\ &= \frac{2}{r^2} \\ V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{1}{r^2} \end{aligned}$$