前提となる知識
以下を前提とする. ただし, 確率変数は一次元とする. 二次元以上の範囲に拡大する場合は参考文献(2)を参照されたい.
定義: 確率変数
以下をおく,
-
\Omega : 全事象
-
\mathcal{B}: \Omega 上の可測集合族
-
P: 可測集合 (\Omega, \mathcal{B}) 上の確率
このとき, 以下を確率変数(random variable)という.
\begin{align*}
&B \subset \mathbb{B}, \big\{ \omega \in \Omega :X(\omega)\in B\} \in \mathcal{B} \text{ を満たすとき}
\\
&X \coloneqq X : X^{-1}(B)=\{\omega \in \Omega : X(\omega) \in B\}\in \mathcal{B}
\end{align*}
ただし, \mathbb{B} はボレル集合族 (= \R のすべての区間を含む最小のσ加法族)である.
このとき,
P(X\leq x) = P(\big\{ \omega\in\Omega : X(\omega) \leq x \big\})
定義: 標本空間
x = X(\omega) : \omega \in \Omega なる x を実現値という. また, この集合を標本空間といい, 以下のように表す.
\mathcal{X} \coloneqq \big\{ X(\omega) : \omega \in \Omega \big\}
一般に集合に対する確率は, 以下である.
\begin{align*}
&A \subset \R,
\\
&P(X\in A) = P(\big\{ \omega\in\Omega : X(\omega) \in A \big\})
\end{align*}
特に区間(a,b] に入る確率は
\begin{align*}
&(a,b] \subset \R,
\\
&P(X\in A) = P(\big\{ \omega\in\Omega : a < X(\omega) \leq b \big\})
\end{align*}
定義: 累積分布関数
累積分布関数を以下のように表す
\begin{align*}
F_X(x) &\coloneqq P(X(\omega)\leq x)
\\
&= P(\big\{ \omega \in \Omega : X(\omega) \leq x \big\}),
\end{align*}
ただし, x = X(\omega) より x \in \R.
定理: F(x), x \in \R, に対して x = X(\omega) : \omega \in \Omega なる X(\omega) の存在条件
累積分布関数となる必要十分条件は以下である. なお, 2は単調増加, 3は右連続と呼ばれる性質である.
\begin{align*}
&1.\quad\lim_{x \rightarrow -\infty} F(x)\rightarrow 0, \quad \lim_{x \rightarrow \infty} F(x)\rightarrow 1
\\
&2.\quad \forall (x_i,x_j): i<j, F(x_i) \leq F(x_j)
\\
&3. \quad \forall a\in \R, \lim_{x \rightarrow +a} F(x)\rightarrow F(a)
\end{align*}
特に3に対して, 右連続も成り立つ累積分布関数を持つ確率変数が存在する. このような確率変数のことを連続型確率変数といい, 逆に, 成り立たないものを離散型確率変数という.
定義: 確率関数
離散型確率変数に対して以下を確率関数という
定義: 確率密度関数
連続型確率変数に対して以下を確率密度関数という
F_X(x) = \int_{-\infty}^x f_X(t)dt, \quad -\infty < x < \infty
定義: 期待値
期待値を以下で定義する. ただし, \mu_x(x) は離散型のときは計数測度で連続型のときはルベーグ測度をとる.
\mathbb{E}(g(X)) = \int g(x) f_X(x)d \mu_X(x)
確率母関数
定義: 確率母関数
確率変数 X の標本空間を非負の整数全体 \mathcal{X}= \big\{ 0,1,2,\cdots \big\} とし, p(k)=P(X=k) とする. |s| \leq 1 なる s に対し,
G_X(s) = \mathbb{E}(s^X) = \sum_{k=0}^\infty s^k p(k)
を確率母関数(probability generating function)という.
補足:
標本空間が非負の整数全体とされているため, 連続型確率分布や負の値をとる確率分布には定義できないことに注意する.
標本空間が非負の整数全体となっている代表的な確率分布として以下のものが挙げられる.
確率母関数の性質
確率母関数はs で1 回微分すると,
\begin{align*}
\frac{d}{ds}G_X(s)
&=
\frac{d}{ds}\sum_{k=0}^\infty s^k p(k)\\
&=
\frac{d}{ds}p(0)+\frac{d}{ds}\sum_{k=1}^\infty s^k p(k)\\
&=
\sum_{k=1}^\infty ks^{k-1} p(k)\\
&=
\sum_{k=0}^\infty ks^{k} p(k)\\
\frac{d}{ds}G_X(1)
&=
\sum_{k=0}^\infty kp(k)\\
&=
\mathbb{E}(X)
\end{align*}
確率母関数はs で二回微分をすると,
\begin{align*}
\frac{d}{ds^2}G_X(s)
&=
\sum_{k=0}^\infty s^k p(k)\\
&=
\frac{d}{ds^2}\sum_{k=0}^1 p(k)+ \frac{d}{ds^2}\sum_{k=2}^\infty s^k p(k)\\
&=
\sum_{k=2}^\infty k(k-1)s^{k-2} p(k)\\
&=
\sum_{k=0}^\infty k(k-1)s^{k} p(k)\\
\frac{d}{ds^2}G_X(1)
&=
\sum_{k=0}^\infty k(k-1)p(k)\\
&=
\mathbb{E}(X(X-1))
\end{align*}
同様にして, 以下の性質を導出することが出来る.
\frac{d}{ds^k}G_x(s)=\mathbb{E}\big(\prod_{k=0}^{k-1} (X-k)\big)
次の節では確率母関数を計算し, そこから期待値と分散を導出する.
二項分布の期待値・分散を確率母関数を使って求める方法
\begin{align*}
G_X(s) &=
\mathbb{E}(s^X)
\\
&=
\sum_{k=0}^n s^k p(k)
\\
&=
\sum_{k=0}^n s^k \frac{n!}{k!(n-k)!}p^k(1-p)^{n-k}
\\
&=
\sum_{k=0}^n \frac{n!}{k!(n-k)!}(sp)^k(1-p)^{n-k}
\\
&=
(sp+(1-p))^n
\end{align*}
ただし, 最終行は二項定理を用いている. これを s で微分すると,
\begin{align*}
\frac{d}{ds} G_X(s)
&=
n(sp+(1-p))^{n-1}\cdot p
\\
\frac{d}{ds} G_X(s=1)
&=
n(p+(1-p))^{n-1}\cdot p
\\
&=
n(p+1-p)^{n-1}\cdot p
\\
&=
np
\\
\therefore \; \mathbb{E}(X)&=np
\end{align*}
二階微分を計算すると,
\begin{align*}
\frac{d}{ds^2} G_X(s)
&=
\frac{d}{ds} np(sp+(1-p))^{n-1}
\\
&=
np(n-1)(sp+(1-p))^{n-2}\cdot p
\\
\frac{d}{ds^2} G_X(s=1)
&=
np^2(n-1)(p+(1-p))^{n-2}
\\
&=
np^2(n-1)(p+1-p))^{n-2}
\\
&=
n(n-1)p^2
\\
\therefore \; \mathbb{E}(X(X-1))&=n(n-1)p^2
\\
\mathbb{V}(X)
&=
\mathbb{E}(X^2)-\mathbb{E}(X)^2
\\
&=
\mathbb{E}(X(X-1))+\mathbb{E}(X)-\mathbb{E}(X)^2
\\
&=
n(n-1)p^2+np-(np)^2
\\
&=
np(np-p+1-np)
\\
&=
np(1-p)
\end{align*}
積率母関数
定義 : 積率母関数
h > 0 が存在して \quad \forall t :|t| < h,\quad \exist \mathbb{E}(e^{tX}) であるとき, M_X(t)\coloneqq\mathbb{E}(X) を積率母関数(moment generating function)という.
補足だが, 積率という日本語は英語のmomentと対応している. momentを生成する関数であることからモーメント母関数とも呼ばれる.
積率母関数の性質
t=0 の近傍において微分をする.
\begin{align*}
\frac{d}{dt} M_X(t)|_{t=0}&=
\frac{d}{dt} \mathbb{E}(e^{tX})|_{t=0}
\\
&=
\frac{d}{dt} \int e^{tx} f_X(x) dx|_{t=0}
\\
&=
\int \frac{d}{dt} e^{tx} f_X(x) dx|_{t=0}
\\
&=
\int xe^{tx} f_X(x) dx|_{t=0}
\\
&=
\int xe^{tx} f_X(x) dx|_{t=0}
\\
&=
\int x f_X(x) dx
\\
&=
\mathbb{E}(X)
\end{align*}
e^{tx} の性質上, k 回微分する場合あきらかに以下になる.
\frac{d}{dt^k}M_X(t)|_{t=0}=\mathbb{E}(X^k)
この積率母関数を用いることで期待値や分散の計算が簡単になるものが存在する. 例えば, 正規分布はこの計算を用いることによって置換積分が不要になる.
正規分布の期待値・分散を積率母関数を使って求める方法
積率母関数を導出し, その性質から期待値と分散を求める. 期待値の定義から求める方法はこの記事では証明しないが, 以下に証明を書いているので掲載する.
\begin{align*}
M_X(t)
&=
\int_{-\infty}^{\infty}
\exp [tx]
\frac{1}{\sqrt{2\pi \sigma^2}}
\exp \biggl[-\frac{(x-\mu)^2}{2\sigma^2}\biggr]dx\\
&=
\int_{-\infty}^{\infty}
\frac{1}{\sqrt{2\pi \sigma^2}}
\exp \biggl[-tx-\frac{(x-\mu)^2}{2\sigma^2}\biggr]dx\\
&=
\int_{-\infty}^{\infty}
\frac{1}{\sqrt{2\pi \sigma^2}}
\exp \biggl[-\frac{-2\sigma^2 tx+x^2-2\mu x +\mu^2}{2\sigma^2}\biggr]dx\\
&=
\int_{-\infty}^{\infty}
\frac{1}{\sqrt{2\pi \sigma^2}}
\exp \biggl[-\frac{(x^2-2x[\mu+\sigma^2 t])+\mu^2}{2\sigma^2}\biggr]dx\\
&=
\int_{-\infty}^{\infty}
\frac{1}{\sqrt{2\pi \sigma^2}}
\exp \biggl[-\frac{(x-[\mu+\sigma^2 t])^2-(\mu + \sigma t)^2+\mu^2}{2\sigma^2}\biggr]dx\\
&=
\exp \biggl[
\frac{(\mu + \sigma t)^2-\mu^2}{2\sigma^2}
\biggr]
\int_{-\infty}^{\infty}
\frac{1}{\sqrt{2\pi \sigma^2}}
\exp \biggl[-\frac{(x-[\mu+\sigma^2 t])^2}{2\sigma^2}\biggr]dx\\
&=
\exp \biggl[
\frac{2\mu \sigma^2 t + \sigma^4 t^2}{2\sigma^2}
\biggl]
\int_{-\infty}^{\infty}
\frac{1}{\sqrt{2\pi \sigma^2}}
\exp \biggl[-\frac{(x-[\mu+\sigma^2 t])^2}{2\sigma^2}\biggr]dx\\
&=
\exp \biggl[\mu+\frac{\sigma^2 t^2}{2} \biggr]
\end{align*}
- 3行目から5行目までは平方完成をしている.
- 7行目から8行目では積分部分が正規分布の負の無限大から正の無限大までの積分値となることから除去している.
- 尚, 平方完成したタイミングの項を展開するタイミングをこの導出では積分を除去した後にしているが, 平方完成した後すぐに展開すると \mu を消すことができる. この方法についてはTwitterに証明を載せたのでリンク先を参照すること.
- 正規分布の積率母関数の導出
- 積率母関数の性質用いて期待値分散を求める.
期待値を求める
\begin{align*}
\mathbb{E}(X)
&=
\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]'
|_{t=0}
\\
&=
(\mu t + \frac{\sigma^2 t^2}{2})'
\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]
|_{t=0}
\\
&=
(\mu+ \sigma^2 t)
\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]
|_{t=0}
\\
&=
\mu
\end{align*}
分散も同様にして求める
\begin{align*}
\mathbb{E}(X^2)
&=
\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]''|_{t=0}
\\
&=
(\mu +\sigma^2 t)'\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]+
(\mu +\sigma^2 t)\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]'|_{t=0}
\\
&=
\sigma^2\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]
+
(\mu +\sigma^2 t)^2\exp \biggl[
\mu t + \frac{\sigma^2 t^2}{2}
\biggr]'|_{t=0}
\\
&=
\sigma^2+\mu^2
\end{align*}
従って分散は
\begin{align*}
\mathbb{V}(X)
&=
\mathbb{E}(X^2)-\mathbb{E}(X)^2\\
&=
\sigma^2+\mu^2-\mu^2\\
&=
\sigma^2
\end{align*}
補足・紹介:
なお, 積率母関数を用いた方が必ずしも計算が楽になるわけではないことに留意されたい.
この他にも積率母関数を用いた分布の導出方法を記事にしているので紹介する.
[統計学] 正規分布の期待値と分散(1次元)
[統計学] ポアソン分布の期待値, 分散, 積率母関数, 最尤推定, 可視化
[統計学] 分布の期待値, 分散, 積率母関数, 最尤推定, 可視化
[統計学] ベルヌーイ分布の期待値と分散, 積率母関数, ベイズ推定, 可視化
参考文献
久保川.2017.”現代数理統計学の基礎”.共立出版
鈴木・山田.2008.”数理統計学”.内田楼鶴圃
Discussion