はじめに
統計検定にもよく出題される確率分布について、できる限り行間を狭くしながらまとめていく。
基本的には統計検定2級で出題される確率分布の平均と分散の求め方を網羅しつつ、一部確率分布の構成方法にも言及した。
今後も対応する確率分布を増やしていく予定。
確率変数と確率
確率変数(Random variable; r.v.)
確率変数はプログラミングでの乱数に相当する。
「確率分布Aに従う確率変数」は「確率分布Aに従って乱数を発生させた」、ということと同値。
確率変数は一般的に大文字で与えられ(X_1, X_2, ...)、Xによる実現値は小文字xで書かれる。
確率変数は離散型確率変数と連続型確率変数に大別される。
離散型確率変数
確率変数があるとびとびの値を取るとき、離散型確率変数と呼ぶ。サイコロの目やコイン投げなど。
離散型確率変数 X がある値 x をとる確率を関数f(x)とした場合、
f(x) を確率質量関数と呼び、f(x)=P(X=x) と書く。全事象の確率は1なので、\sum_{i=1}^\infty P(X=x_i) = 1
連続型確率変数
確率変数が連続の値を取るとき、連続型確率変数と呼ぶ。身長体重など。
連続型確率変数だと、どのような値を連れてきてもその確率は0になってしまう。
→確率密度という概念を導入する。
確率変数 X が a \le X \le b という区間に入る確率を
P(a \le X \le b) = \int^b_af(x)dx = [F(x)]^a_b という形で記述する。
特に、
P(X \le x) = \int^x_{-\infty} f(t)dt = [F(t)]^x_{-\infty}
を累積関数、f(t) を確率密度関数と呼ぶ。定義より \dfrac{d}{dx}F(x) = f(x) である。
全事象の確率は1なので、\int^\infty_{-\infty}f(x)dx = 1
期待値と分散
期待値
覚える。
E[g(X)] =
\left\{ %大かっこ表示
\begin{align*} %数式を書く
&\sum_{i=1}^\infty g(x_i) P(X=x_i) &(Xが離散型変数) \\
&\int_{-\infty}^{\infty}g(x)f(x)dx &(Xが連続型変数)
\end{align*}
\right. %何も表示させないのでピリオド
特に、
E[X] =
\left \{ %大かっこ表示
\begin{align*} %数式を書く
&\sum_{i=1}^\infty x_i P(X=x_i) &(Xが離散型変数) \\
&\int_{-\infty}^{\infty}xf(x)dx &(Xが連続型変数)
\end{align*}
\right. %何も表示させないのでピリオド
期待値は線形に従う。
分散
覚える。二行目以降の変換は単純に二乗を展開するだけ。
\begin{align*}
V[X] &= E[(X-E[X])^2]\\
&= E[(X-E[X])^2]\\
&= E[X^2-2XE[X]+E[X]^2]\\
&= E[X^2]-2E[XE[X]]+E[X]^2\\
&= E[X^2]-E[X]^2
\end{align*}
分散は線形に従わない。
期待値・分散は、収束したときにだけ定義される。発散した場合は定義されないので注意。
モーメント(積率)
確率変数(Random variable; r.v.)のべき乗の期待値をモーメント(積率) と呼ぶ。
r.v. X, 定数 \alpha とすると、 \alpha 周りのk次モーメントは、E[(X-\alpha)^k] (k=1,2,3,...) で表される。
期待値の定義より、
E[(X - \alpha)^k] =
\left\{ %大かっこ表示
\begin{align*} %数式を書く
&\sum_{i=1}^\infty (x_i-\alpha)^k P(X=x_i) &(Xが離散型変数) \\
&\int_{-\infty}^{\infty}(x-\alpha)^kf(x)dx &(Xが連続型変数)
\end{align*}
\right. %何も表示させないのでピリオド
である。
特に、平均 \mu 周りの k 次モーメント (\mu_k = E[(X-\mu)^k]) については分布の中心の位置と散らばりを示す。
例えば3次の平均周りのモーメント \mu_3 = E[(X-\mu)^3] を 標準偏差 \sigma の3乗で割った値 \dfrac{E[(X-\mu)^3]}{\sigma^3} は、
歪度と呼ばれ、平均を中心にしてどれだけ非対称であるかを表す指標となる。
更に、同様にして4次の平均周りのモーメントを 標準偏差 \sigma の4乗で割った値は尖度と呼ばれ、平均付近の分布の尖り具合を表す。
この様に、m次モーメントは平均や分散などを算出する際によく用いられるほか、モーメント法と呼ばれる母数推定にもよく用いられる。
モーメント母関数
母関数
数列a_0, a_1, \cdots, a_nがある関数g(t)のべき級数展開の係数になるときg(t)を数列{a_n}の母関数であるという。
すなわちg(t)=a_0 + a_1t + a_2t^2 +\cdots = \sum_{n=0}^{\infty}a_nt^n は数列{a_n}の母関数
特に、g(t)=\sum_{n=1}^{\infty}\dfrac{a_nt^n}{n!} は数列{a_n}の指数的母関数と呼ぶ。
モーメント母関数の構成
ここで、E[X], E[X^2], ..., E[X^m]に対する指数的母関数M_X(t)を考えると、
\begin{align*}
M_X(t)
&=\sum_{m=1}^{\infty}\dfrac{E[X^m]t^m}{m!} \\
&=\sum_{m=1}^{\infty}E[\dfrac{(Xt)^m}{m!}] \\
&=E[\sum_{m=1}^{\infty}\dfrac{(Xt)^m}{m!}] \\
&=E[e^{Xt}]
\end{align*}
ここで得られたM_X(t)=E[e^{Xt}]のことをモーメント母関数と呼ぶ。
期待値の定義より、
M_X(t)=E[e^{Xt}]=
\left \{ %大かっこ表示
\begin{align*} %数式を書く
&\sum_{i=1}^\infty e^{x_it} P(X=x_i) &(Xが離散型変数) \\
&\int_{-\infty}^{\infty}e^{xt}f(x)dx &(Xが連続型変数)
\end{align*}
\right. %何も表示させないのでピリオド
以下、モーメント母関数 M_X(t)がm回微分可能 であるとき、M_X^{(m)}(t) を M_X(t)のm回微分 とする。
\begin{align*}
M_X^{(m)}(t) &= \dfrac{d^m}{dt^m}E[e^{Xt}]\\
&= E[\dfrac{d^m}{dt^m}e^{Xt}]\\
&= E[X^me^{Xt}]
\end{align*}
このとき、t = 0 で、
\begin{align*}
M_X^{(m)}(t)|_{t=0} &= E[X^m]
\end{align*}
つまり、モーメント母関数はモーメントの情報をすべて含んでいることになる。
平均や分散を求める際に定義に即して計算する以外にも、モーメント母関数の微分という手もあるので覚えておこう。
注意として、常にモーメント母関数があるかどうかはわからない
更に、モーメント母関数と確率密度関数は必ず1対1の関係にあるという点も重要である。
これは、２つの確率密度関数が近似できることを示す時(中心極限定理の証明など)や、
確率変数の和の確率密度関数を求めるときなどに重宝する考え方になる。
ベルヌーイ分布
ベルヌーイ試行
取り得る結果が「成功」「失敗」の2つのみであるランダムな試行をベルヌーイ試行と呼ぶ。
条件として、
- 試行の結果は成功または失敗のいずれかである。
- 各試行は独立である。
- 成功確率p、失敗確率(1−p)は試行を通じて一定である。
ベルヌーイ試行を1回行った際の結果で「失敗」を X=0, 「成功」を X=1 としたとき、P(X=1) の分布
確率質量関数は成功確率をpとしたとき、
\begin{align*}
&P(X=1) = p \\
&P(X=0) = 1-p
\end{align*}
まとめてしまって、
\begin{align*}
&P(X=k)=p^k(1−p)^{1−k} (k=0,1)
\end{align*}
でも良い。
ぶっちゃけあんまり言うことがない。
期待値・分散
定義どおり計算すれば良い。
\begin{align*} %数式を書く
&E[X] = \sum_{k=0}^1 kP(X=k) = 0\times P(X=0) + 1\times P(X=1) = p\\
&E[X^2] = \sum_{k=0}^1 k^2P(X=k) = 0\times P(X=0) + 1\times P(X=1) = p\\
&V[X] = p-p^2 = p(1-p)
\end{align*}
二項分布
ベルヌーイ試行をn回行った際の結果で「成功」した数をXとしたときの分布。
Bin(n, p) と書くことが多い。nは全体の試行回数、pは成功確率。
確率質量関数は、
Bin(n, p) = {}_nC_x \space p^{x}(1-p)^{n-x}
である。
期待値・分散
定義どおり計算
\begin{align*} %数式を書く
E[X] &= \sum_{k=0}^n k \space {}_nC_k \space p^{k}(1-p)^{n-k}\\
& = \sum_{k=0}^n k \space \dfrac{n!}{k!(n-k)!} \space p^{k}(1-p)^{n-k}\\
& = \sum_{k=1}^n \space \dfrac{n!}{(k-1)!(n-k)!} \space p^{k}(1-p)^{n-k}\\
& = np\sum_{k=1}^n \space \dfrac{(n-1)!}{(k-1)!(n-k)!} \space p^{k-1}(1-p)^{(n-1)-(k-1)}\\
& = np\sum_{k=0}^ {n-1} \space \dfrac{(n-1)!}{k!(n-k)!} \space p^{k}(1-p)^{n-k}\\
& = np \space (\because 全確率は1であり、\sum_{k=0}^ {n-1} \space \dfrac{(n-1)!}{k!(n-k)!} \space p^{k}(1-p)^{n-k} = 1)
\end{align*}
E[X^2] を出すのは筋が悪い。→ E[X(X-1)] なら同じ手法で出せる。
\begin{align*} %数式を書く
E[X(X-1)] &= \sum_{k=0}^n k(k-1) \space {}_nC_k \space p^{k}(1-p)^{n-k}\\
& = n(n-1)p^2 \space (各自で計算してみると良い)
\end{align*}
\begin{align*} %数式を書く
V[X] &= E[X^2] - E[X]^2 \\
&= E[X(X-1)] + E[X] - E[X]^2 \\
&= n(n-1)p^2 + np - n^2p^2 \\
&= np(1-p)
\end{align*}
モーメント母関数から求める
\begin{align*} %数式を書く
M_X(t) = E[e^{tX}] &= \sum_{k=0}^n e^{tk} \space {}_nC_k \space p^{k}(1-p)^{n-k}\\
& = \sum_{k=0}^n {}_nC_k \space (e^tp)^{k}(1-p)^{n-k}\\
& = (e^tp+1-p)^n (\because 二項定理の逆, (a+b)^n = \sum_{k=0}^n {}_nC_k \space a^kb^{n-k})\\
\end{align*}
よって、
\begin{align*} %数式を書く
&E[X] = M^{(1)}_X(t)|_{t=0} = npe^t(e^tp+1-p)^{n-1}|_{t=0} = np, \\
&E[X^2] = M^{(2)}_X(t)|_{t=0} = npe^t(e^tp+1-p)^{n-1} + n(n-1)p^2e^t(e^tp+1-p)^{n-2}|_{t=0} = np + n(n-1)p^2 \\
\therefore \space &V[X] = np + n(n-1)p^2 - n^2p^2 = np(1-p)
\end{align*}\\ %数式を書く
どっちが楽かは...どっこいどっこいか?
いずれにしても、E[X] = np, V[X] = np(1-p) なのは、n回ベルヌーイ試行を行ったという観点から考えると自然である。
実際、 Bin(1, p) に従う分布はベルヌーイ分布であり、二項分布はベルヌーイ分布の自然な拡張である。
再生性
ここで、再生性について議論をしよう。
再生性を持つとは、同じ確率分布族から独立にサンプリングされた2つの確率変数に対して、その和の確率分布もまた同じ確率分布族に含まれる性質のことを言う。
二項分布は再生性を有することが知られているので、これを示す。
X \overset{i.i.d.}{\sim} Bin(n, p), Y \overset{i.i.d.}{\sim} Bin(m, p) なる 確率変数 X, Y を取る。ここで、新たな確率変数 Z = X + Y を考える。
この Z もまた二項分布に従うならば 二項分布は再生性を持つことになる。
このZのモーメント母関数 M_Z(t) は、
\begin{align*} %数式を書く
M_Z(t) &= E[e^{Zt}] = E[e^{(X + Y)t}] \\
&= E[e^{Xt} e^{Yt}]\\
&= E[e^{Xt}]E[e^{Yt}]\\
&= (e^tp+1-p)^n \times (e^tp+1-p)^m\\
&= (e^tp+1-p)^{n+m}
\end{align*}
ここで、モーメント母関数と確率密度関数は1対1の関係であるため、 Z \sim Bin(n+m, p) に従うことがわかる。
よって二項分布は再生性を持つ。
Poisson分布
ある稀なイベントが一定の時間内に発生する回数を表す離散確率分布。
稀なイベント?
稀なイベントとは、
- （希少性）：時間幅 \Delta t の間にイベントはがたかだか1回か0回しか起きない
- （定常性）：事象の起きる確率は、どの時間帯で同じ
- （独立性）：事象の起きる確率は、それ以前に起こった事象の回数や起こり方には無関係
を満たすものとしよう。コイン投げを連続の時間に拡張していくようなイメージを持つと良い。
特に希少性について考えてみる。
- たかだか1回か0回しか起きない → 「イベントなし」、「イベントあり」というベルヌーイ試行を考えれば良さそう。
- 時間幅\Delta tの間で観測する必要がある。→ 観測の区間幅が小さくなると、試行回数が増える。
二項分布を、n \to \infty という極限を取れば良いのではないか？
\begin{align*}
Bin(n, p) &= {}_nC_x \space p^{x}(1-p)^{n-x} \\
&= \dfrac{n!}{x!(n-x)!} \space p^{x}(1-p)^{n-x}\\
&= \dfrac{n(n-1)(n-2)\cdots (n-x+1)}{x!} \space p^{x}(1-p)^{n-x}\\
\end{align*}
ここで、\lambda = np, \space p = \dfrac{\lambda}{n} とおくと、
\begin{align*}
&\dfrac{n(n-1)(n-2) \cdots (n-x+1)}{x!} \space p^{x}(1-p)^{n-x}\\
&= \dfrac{n(n-1)(n-2) \cdots(n-x+1)}{x!} \space (\dfrac{\lambda}{n})^{x}(1-\dfrac{\lambda}{n})^{n-x}\\
&= \dfrac{\lambda^x}{x!} \space \dfrac{n(n-1)(n-2) \cdots (n-x+1)}{n^x} (1-\dfrac{\lambda}{n})^{n} (1-\dfrac{\lambda}{n})^{-x}\\
&= \dfrac{\lambda^x}{x!} \space \{1(1-\dfrac{1}{n})(1-\dfrac{2}{n}) \cdots (1-\dfrac{x-1}{n})\} (1-\dfrac{\lambda}{n})^{n} (1-\dfrac{\lambda}{n})^{-x}\\
& \to \dfrac{\lambda^x e^{-\lambda}}{x!} (n \to \infty)
\end{align*}
この Po(\lambda) = \dfrac{\lambda^x e^{-\lambda}}{x!} をPoisson分布と呼ぶ。
期待値・分散
定義どおり計算
\begin{align*}
E[X] &= \sum^{\infty}_{k=0} k\dfrac{\lambda^k e^{-\lambda}}{k!}\\
&= \lambda \sum^{\infty}_{k=1} \dfrac{\lambda^{k-1}e^{-\lambda}}{(k-1)!} \\
&= \lambda
\end{align*}
\begin{align*}
E[X(X-1)] &= \sum^{\infty}_{k=0} k(k-1)\dfrac{\lambda^k e^{-\lambda}}{k!}\\
&= \lambda^2 \sum^{\infty}_{k=2} \dfrac{\lambda^{k-2}e^{-\lambda}}{(k-2)!} \\
&= \lambda^2
\end{align*}
\begin{align*}
V[X] &= E[X(X-1)] + E[X] -E[X]^2 \\
&= \lambda^2 + \lambda - \lambda^2 \\
&= \lambda
\end{align*}
モーメント母関数から求める
\begin{align*}
E[e^{tX}] &= \sum^{\infty}_{k=0} e^{tk}\dfrac{\lambda^k e^{-\lambda}}{k!}\\
&= e^{-\lambda} \sum^{\infty}_{k=0} \dfrac{(\lambda e^t)^k}{k!} \\
&= e^{-\lambda} \exp(\lambda e^t)\\
&= \exp(\lambda e^t - \lambda)\\
&= \exp(\lambda(e^t - 1))\\
\end{align*}
よって、
\begin{align*} %数式を書く
&E[X] = M^{(1)}_X(t)|_{t=0} = \lambda e^t \exp(\lambda(e^t - 1))|_{t=0} = \lambda e^t M_X(t)|_{t=0} = \lambda \\
&E[X^2] = M^{(2)}_X(t)|_{t=0} = \lambda e^t M_X(t) + \lambda e^t M^{(1)}_X(t) |_{t=0} = \lambda + \lambda^2\\
\therefore \space &V[X] = \lambda + \lambda^2 - \lambda^2 = \lambda
\end{align*}\\ %数式を書く
ここで \lambda は強度というパラメータであり、稀なイベントが発生する平均回数を表す。
再生性
成り立ちから考えても分かる通り、Poisson分布は再生性を持つ。
X {\sim} Po(\lambda_1), Y {\sim} Po(\lambda_2) なる 確率変数 X, Y を取る。ここで、新たな確率変数 Z = X + Y を考える。
このZのモーメント母関数 M_Z(t) は、
\begin{align*} %数式を書く
M_Z(t) &= E[e^{Xt}]E[e^{Yt}]\\
&= \exp(\lambda_1(e^t - 1)) \times \exp(\lambda_2(e^t - 1))\\
&= \exp((\lambda_1 + \lambda_2)(e^t - 1))
\end{align*}
ここで、モーメント母関数と確率密度関数は1対1の関係であるため、 Z \sim Po(\lambda_1 + \lambda_2) に従うことがわかる。
幾何分布
ベルヌーイ試行をn回行った際の結果で初めて「成功」するまでにかかった試行回数をXとしたときの分布。
Geo(p) と書くことが多い。nは全体の試行回数、pは成功確率。
確率質量関数は、
期待値・分散
定義どおり計算
\begin{align*} %数式を書く
E[X] &= \sum_{k=1}^\infty kp(1-p)^{k-1}\\
&= p\sum_{k=1}^\infty k(1-p)^{k-1}\\
&= p\sum_{k=1}^\infty -\dfrac{d}{dp}(1-p)^{k}\\
&= -p\dfrac{d}{dp}\sum_{k=1}^\infty(1-p)^{k} \space (\sum と\dfrac{d}{dp} を入れ替えた)\\
&= -p \dfrac{d}{dp} \dfrac{1-p}{1-(1-p)} (\because 等比数列の和の公式)\\
&= -p \dfrac{d}{dp} \dfrac{1-p}{p} \\
&= p \dfrac{1}{p^2} \\
&= \dfrac{1}{p}
\end{align*}
\begin{align*} %数式を書く
&E[X(X+1)] \\&= \sum_{k=1}^\infty k(k+1)p(1-p)^{k-1}\\
&= p\sum_{k=1}^\infty k(k+1)(1-p)^{k-1}\\
&= p\sum_{k=1}^\infty \dfrac{d^2}{dp^2}(1-p)^{k+1}\\
&= p \dfrac{d^2}{dp^2}\sum_{k=1}^\infty(1-p)^{k+1}\\
&= p \dfrac{d^2}{dp^2} \dfrac{1-p}{1-(1-p)} (\because 等比数列の和の公式)\\
&= p \dfrac{d^2}{dp^2} \dfrac{1-p}{p} \\
&= -p \dfrac{d}{dp} \dfrac{1}{p^2} \\
&= p \dfrac{2}{p^3} \\
&= \dfrac{2}{p^2} \\
&V[X] = E[X(X+1)] - E[X] - E[X]^2 = \dfrac{1-p}{p^2}
\end{align*}
モーメント母関数から求める
\begin{align*} %数式を書く
E[e^{tX}] &= \sum_{k=1}^\infty e^{tk}p(1-p)^{k-1}\\
&= pe^t\sum_{k=1}^\infty ((1-p)e^t)^{k-1}\\
&= pe^t \dfrac{1-p}{(1-(1-p)e^t)}(\because 等比数列の和の公式)\\
\end{align*}
導出は容易なのだが微分が面倒くさい...
→pythonに微分させる。式の評価にはsympyが使える。
from sympy import symbols, exp, diff, latex
from IPython.display import display, Markdown
# 変数の定義
t, p = symbols('t p')
# 式の定義
expr = p * exp(t) * (1 - p) / (1 - (1 - p) * exp(t))
# 微分の実行
diff_expr = diff(expr, t).simplify()
# -p*(p - 1)*exp(t)/((p - 1)*exp(t) + 1)**2
E_X = diff_expr.subs(t, 0).simplify()
# 2回微分
second_diff_expr = diff(diff_expr, t).simplify()
E_X2 = second_diff_expr.subs(t, 0).simplify()
V_X = (E_X2-E_X**2).simplify() # (1 - p)/p**2
Markdown(f'$$M_X^{(1)}(t) = \n{latex(diff_expr)}\n$$')
Markdown(f'$$M_X^{(2)}(t) = \n{latex(second_diff_expr)}\n$$')
Markdown(f'$$E[X]= \n{latex(E_X)}\n$$')
Markdown(f'$$E[X^2] = \n{latex(E_X2)}\n$$')
Markdown(f'$$V[X] = \n{latex(V_X)}\n$$')
これは定義どおりやったほうが良いだろう。
再生性
モーメント母関数を見ても分かる通り、幾何分布は再生性を持たない。
一様分布
ここから連続型確率変数による確率密度関数を議論する。
確率変数 X が閉区間 [a, b] 上の一様分布に従うとは、
f(x| a,b) =
\left \{ %大かっこ表示
\begin{align*} %数式を書く
&\dfrac{1}{b-a} &(x \in [a, b]) \\
&0 &(その他)
\end{align*}
\right. %何も表示させないのでピリオド
で与えられるときを言う。直感的な意味でのランダムと考えて良い。
期待値・分散
定義通り計算
\begin{align*} %数式を書く
E[X] = &\int^{b}_{a} \dfrac{x}{b-a}dx \\
&=\dfrac{1}{b-a} [\dfrac{x^2}{2}]^{b}_{a}\\
&= \dfrac{a+b}{2}
\end{align*}
\begin{align*} %数式を書く
E[X^2] = &\int^{b}_{a} \dfrac{x^2}{b-a}dx \\
&=\dfrac{1}{b-a} [\dfrac{x^3}{3}]^{b}_{a}\\
&= \dfrac{a^2+ab+b^2}{3}
\end{align*}
V[X] = \dfrac{a^2+ab+b^2}{3} - (\dfrac{a+b}{2})^2 = \dfrac{b-a}{12}
モーメント母関数から求める
モーメント母関数を用いて期待値・分散を求めるのは、かなり面倒くさいのでやらない方がいい。
モーメント母関数を用いた導出はここを参照。
モーメント母関数自体は、
\begin{align*}
M_X(t) &=E[e^{tX}]\\
&=\int_{ a }^{ b } e^{tx}\frac{1}{b-a}dx\\
&=\dfrac{1}{b-a}\left[\dfrac{e^tx}{t} \right]_{a}^{b}\\
&=\dfrac{{\mathrm{e}^{tb}}-{\mathrm{e}^{ta}}}{t(b-a)}
\end{align*}
となる。
再生性
モーメント母関数を見ても分かる通り、一様分布は再生性を持たない。
正規分布
統計学上最も重要な確率密度関数である。
確率変数 X が N(\mu, \sigma^2) の正規分布に従うとき、
\begin{align*} %数式を書く
f(x| \mu, \sigma) = \dfrac{1}{\sqrt{2 \pi \sigma^2} } e^{-\dfrac{(x- \mu)^2}{2 \sigma^2}}
\end{align*}
で与えられる。
特に、N(0, 1) の分布を標準正規分布と呼ぶ。
期待値・分散
定義通り計算
実は定義どおり求めるのは凄く面倒くさい。
\begin{align*}
E[X]&= \int_{ – \infty }^{ \infty } xf(x) dx\\
&= \int_{ – \infty }^{ \infty } (x-\mu+\mu)f(x) dx\\
&= \int_{ – \infty }^{ \infty } (x-\mu)\frac{1}{\sqrt{2\pi\sigma^2}}\exp{[-\frac{(x-μ)^2}{2\sigma^2}]}dx+ \int_{ – \infty }^{ \infty } \mu f(x) dx\\
&= \int_{ – \infty }^{ \infty } (\frac{x-\mu}{\sigma})\frac{1}{\sqrt{2\pi}}\exp{[-\frac{1}{2}{(\frac{x-\mu}{\sigma})}^2]} dx+\mu \int_{ – \infty }^{ \infty } f(x) dx\\
&= \int_{ – \infty }^{ \infty } (\frac{x-\mu}{\sigma})\frac{1}{\sqrt{2\pi}}\exp{[-\frac{1}{2}{(\frac{x-\mu}{\sigma})}^2]} dx + \mu
\end{align*}
ここで、y=\dfrac{x-\mu}{\sigma} とおくと、dy=\dfrac{1}{\sigma}dx
\begin{align*}
E[X]&= \int_{ – \infty }^{ \infty } y\frac{1}{\sqrt{2\pi}}\exp{[-\frac{1}{2}{y}^2]} \sigma dy+\mu\\
&=\left[- \frac{\sigma}{\sqrt{2\pi}}e^{-\frac{1}{2} {y}^{2}} \right]_{-\infty}^{\infty}+\mu\\
&=\mu
\end{align*}
\begin{align*}
E[X^2]&= \int_{ – \infty }^{ \infty } x^2f(x) dx\\ &= \int_{ – \infty }^{ \infty }x^2\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx\\
&= \int_{ – \infty }^{ \infty }\{{(x-\mu)}^2+2\mu x-{\mu}^2\}\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx\\
&= \int_{ – \infty }^{ \infty }{(x-\mu)}^2\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx+2\mu \int_{ – \infty }^{ \infty } x\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx-{\mu}^2 \int_{ – \infty }^{ \infty }\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx\\
&= \int_{ – \infty }^{ \infty }{(x-\mu)}^2\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx+{\mu}^2
\end{align*}
ここで、y=\dfrac{x-\mu}{\sigma} とおくと、dy=\dfrac{1}{\sigma}dx
\begin{align*}
&\int_{ – \infty }^{ \infty }{\sigma^{2}}{y^{2}}\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{1}{2}y^2}\sigma dy+{\mu}^{2}\\
&=\frac{\sigma^2}{\sqrt{2\pi }} \int_{ – \infty }^{ \infty }y^{2}e^{-\frac{1}{2}y^2}dy+{\mu}^2\\
&=\sigma^2 + \mu^2 \space (ガウス積分)
\end{align*}
こんなんやってられない。
モーメント母関数から求める
\begin{align*}
E[e^{tX}]&= \int_{ – \infty }^{ \infty } e^{tx} \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx\\
&= \int_{ – \infty }^{ \infty } \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}+tx}dx
\end{align*}
ここで、指数の中身を平方完成させることを考える。
\begin{align*}
-\frac{{(x-\mu)}^2}{2\sigma^2}+tx &= -\frac{{(x-\mu)}^2 - 2\sigma^2tx}{2\sigma^2}\\
&= -\frac{x^2- 2\mu x + \mu^2 - 2\sigma^2tx}{2\sigma^2}\\
&= -\frac{x^2- 2 (\mu + \sigma^2t) x + \mu^2}{2\sigma^2}\\
&= -\frac{(x - (\mu + \sigma^2t))^2 + \mu^2 - (\mu + \sigma^2t)^2}{2\sigma^2}\\
&= -\frac{(x - (\mu + \sigma^2t))^2 - 2\mu \sigma^2t - \sigma^4t^2}{2\sigma^2}\\
&= -\frac{(x - (\mu + \sigma^2t))^2}{2\sigma^2} + \mu t + \dfrac{\sigma^2t^2}{2}\\
\end{align*}
このことから、
\begin{align*}
M_X(t) = E[e^{tX}]&= \int_{ – \infty }^{ \infty } e^{tx} \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{{(x-\mu)}^2}{2\sigma^2}}dx\\
&= \int_{ – \infty }^{ \infty } \frac{1}{\sqrt{2\pi \sigma^2}} \exp{(-\frac{(x - (\mu + \sigma^2t))^2}{2\sigma^2} + \mu t + \dfrac{\sigma^2t^2}{2})}dx\\
&= \exp{(\mu t + \dfrac{\sigma^2t^2}{2})} \int_{ – \infty }^{ \infty } \frac{1}{\sqrt{2\pi \sigma^2}} \exp{(-\frac{(x - (\mu + \sigma^2t))^2}{2\sigma^2})}dx \\
&= \exp{(\mu t + \dfrac{\sigma^2t^2}{2})}
\end{align*}
\begin{align*}
E[X] &= M^{1}_X(t)|_{t=0} = (\mu + \sigma^2t) \exp{(\mu t + \dfrac{\sigma^2t^2}{2})} |_{t=0} = (\mu + \sigma^2t) M_X(t) |_{t=0} = \mu \\
E[X^2] &= M^{2}_X(t)|_{t=0} = \sigma^2 M_X(t) + (\mu + \sigma^2t) M^{1}_X(t)|_{t=0} = \sigma^2 + \mu^2 \\
V[X] &= \sigma^2 + \mu^2 - \mu^2 = \sigma^2
\end{align*}
モーメント母関数を用いて求めるほうが遥かに簡単である。
再生性
正規分布は再生性を持つ。 X \sim N(\mu_1, \sigma_1^2), Y \sim N(\mu_2, \sigma_2^2) なる X, Y がある時、Z=X+Y の従う分布は
Z \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)。
ここは自力で求めてみよう。
指数分布
幾何分布を連続化させたときの待ち時間の分布を指数分布と呼ぶ。
→ 連続化？、待ち時間？
Poisson分布を構成したときのことを思い出す
コイン投げを連続の時間に拡張していくようなイメージを取ることで、二項分布からPoisson分布が導かれたのだった。
→ 時間的に連続させたことで、あるイベントが発生するまでの待ち時間も連続型確率変数とすることができる！
あるイベントがPoisson分布 Po(\tau) に従って発生するとする。確率変数 X はイベントの発生回数。
\begin{align*}
f(x)=\frac{e^{-\tau}\tau^x}{x!}
\end{align*}
ここで、\tau はイベントの発生回数の期待値。
ある時間間隔 t \geq 0 において事象が x 回生起する確率を考える。
単位時間あたりのイベントの発生回数の期待値を \lambda とすれば、\tau = \lambda t なので、
\begin{align*}
f(x)=\frac{e^{-\lambda t}(\lambda t)^x}{x!}
\end{align*}
ここで、確率変数 T をあるイベントが初めて起きるまでの待ち時間であるとする。
T \leq t という状況は時間 t がイベントが初めて起きるまでの待ち時間 T よりも長い状況を表す。
→ t の間に1回以上イベントが発生したことを示している。
そうすると、1度もイベントが起きていない確率は P(T>t) で表される。
また、1度もイベントが起きていないということは、上式で x=0 のときに相当する(確率変数Xはイベントの発生回数であった)ので，以下の関係が成立する。
\begin{align*}
& P(T>t) = e^{-\lambda t} \\
& \therefore P(0 < T \leq t) = 1 - e^{-\lambda t}
\end{align*}
P(0 < T \leq t) = 1 - e^{-\lambda t} は累積確率関数なので、これを微分すると確率密度関数が得られる。
f(t) = \lambda e^{-\lambda t} (t > 0)
この確率密度関数を指数分布と呼び、Exp(\lambda) と書くことがある。
期待値・分散
定義通り計算
部分積分を用いて求める。 \lim_{n\to \infty} x^n e^{-n} = 0 は成立するものとした。
\begin{align*}
E[X] &= \int^{\infty}_{0} \lambda x e^{-\lambda x} dx \\
&= \lambda \int^{\infty}_{0} x e^{-\lambda x} dx \\
&= \lambda \int^{\infty}_{0} x(\dfrac{-e^{-\lambda x}}{\lambda})' dx\\
&= \lambda( \Big[x\dfrac{-e^{-\lambda x}}{\lambda} \Big]^{\infty}_{0} - \int^{\infty}_{0} \dfrac{-e^{-\lambda x}}{\lambda} dx)\\
&= \lambda \int^{\infty}_{0} \Big[ \dfrac{-e^{-\lambda x}}{\lambda^2} \Big]^{\infty}_{0}\\
&= \dfrac{1}{\lambda}
\end{align*}
\begin{align*}
E[X^2] &= \int^{\infty}_{0} \lambda x^2 e^{-\lambda x} dx
\end{align*}
ここで、
\begin{align*}
&(x^2 e^{-\lambda x})' = 2x e^{-\lambda x} -\lambda x^2 e^{-\lambda x} \\
&- (x^2 e^{-\lambda x})' + 2x e^{-\lambda x} = \lambda x^2 e^{-\lambda x}\\
&\Big[ -x^2 e^{-\lambda x} \Big]^{\infty}_{0} + 2\int^{\infty}_{0} x e^{-\lambda x} dx = \int^{\infty}_{0} \lambda x^2 e^{-\lambda x} dx
\end{align*}
E[X] = \int^{\infty}_{0} \lambda x e^{-\lambda x} dx = \dfrac{1}{\lambda} より、\int^{\infty}_{0} x e^{-\lambda x} dx = \dfrac{1}{\lambda^2}
\begin{align*}
&\Big[ -x^2 e^{-\lambda x} \Big]^{\infty}_{0} + 2\int^{\infty}_{0} x e^{-\lambda x} dx \\
& = \dfrac{2}{\lambda^2}
\end{align*}
\begin{align*}
V[X] = \dfrac{2}{\lambda^2} - \dfrac{1}{\lambda^2} = \dfrac{1}{\lambda^2}
\end{align*}
モーメント母関数から求める
こっちのほうが個人的には好き
\begin{align*}
M_X(t) = E[e^{tX}] &= \int_{0}^{ \infty } \lambda e^{tx} e^{-\lambda x} dx\\
&= \int_{0}^{ \infty } \lambda e^{-(\lambda - t)x} dx\\
&= \lambda \Big[ - \dfrac{e^{-(\lambda - t)x}}{(\lambda - t)} \Big]_{0}^{ \infty } \\
&= \dfrac{\lambda}{\lambda - t}
\end{align*}
\begin{align*}
M^{1}_X(t) = E[X] &= \dfrac{\lambda}{(\lambda - t)^2} \Bigg|_{t=0} \\
&= \dfrac{1}{\lambda}
\end{align*}
\begin{align*}
M^{2}_X(t) = E[X^2] &= \dfrac{2\lambda (\lambda - t)}{(\lambda - t)^4} \Bigg|_{t=0} \\
&= \dfrac{2}{\lambda^2}
\end{align*}
\begin{align*}
V[X] = \dfrac{2}{\lambda^2} - \dfrac{1}{\lambda^2} = \dfrac{1}{\lambda^2}
\end{align*}
再生性
指数分布は再生性を持たない。 これも自力で示してみよう。
無記憶性
X \sim Exp(\lambda) を指数分布, s,t>0 とするとき、
が成立する時、無記憶性を持つという。
簡単に言うと、あるイベントが発生するかどうかは、前までの状態に依存せずに起こるという意味である。指数分布において、P(X > s+t|X>s) の意味は時刻 s までイベントが発生しなかった条件下で、時刻 s+t でイベントが発生しない確率。
実際に示してみよう。
\begin{align*}
P(X > s+t|X>s) &= \dfrac{P(X>s+t \cup X>s)}{P(X>s)}\\
&= \dfrac{P(X>s+t)}{P(X>s)}\\
&= \dfrac{e^{-\lambda (s+t)}}{e^{-\lambda s}}\\
&= e^{-\lambda t}\\
&= P(X > t)
\end{align*}
Discussion