モチベーション
正規分布の導出を以前掲載したが, 正規分布の確率密度関数の定義そのものから導出する方法は計算に時間がかかる.
また, 積率母関数 M_X(t) = \exp [\mu t+ \frac{\sigma t^2}{2}] を既知として用いれば容易になる. しかし, 「定義から導出すること」が要求された場合, 指数部分で平方完成をする必要があり, やはり時間を要する.
そこで, 今回は期待値, 分散の定義から簡単に求める方法を紹介する.
[統計学] 正規分布の期待値と分散(1次元)
導出
ある確率変数 X が標準正規分布に従うとする. このとき Y= \sigma X + \mu と変換すると正規分布に従う. 従って, 期待値を求めると,
\begin{align*}
\mathbb{E}(Y)
&=
\mathbb{E}(\sigma X+\mu)
\\
&=
\mathbb{E}(\sigma X) + \mathbb{E}(\mu)
\\
&=
\sigma \mathbb{E}(X) + \mu
\\
&=
\sigma \cdot 0 + \mu
\\
&=
\mu.
\end{align*}
同様にして分散も求める.
\begin{align*}
\mathbb{V}(Y)
&=
\mathbb{V}(\sigma X+\mu)
\\
&=
\mathbb{V}(\sigma X) + \mathbb{V}(\mu)
\\
&=
\sigma^2 \mathbb{V}(X) + 0
\\
&=
\sigma^2 \cdot 1 + \mu
\\
&=
\sigma^2.
\end{align*}
補足
このように, 「ある確率変数 X が標準正規分布に従うとする. このとき Y= \sigma X + \mu と変換すると正規分布に従う.」ことを認めれば, 期待値と分散の性質を用いて簡単に正規分布の期待値・分散の証明ができる. よってその証明を後述することにする.
証明
以下を定義する.
- 確率変数: X \sim N(0, 1).
- 確率変数: Y = \sigma X + \mu.
- なお, その他の定義については以下で示すものとする.
[統計学] 数理統計学の主要な概念の定義一覧
\begin{align*}
F_Y(y)
&=
\mathbb{P}(Y \leq y)
\\
&=
\mathbb{P}(\sigma X + \mu \leq y)
\\
&=
\mathbb{P}(X \leq\frac{y-\mu}{\sigma})
\\
&=
F_X(\frac{y-\mu}{\sigma}).
\end{align*}
- 2行目, 3行目の変換は Y = \sigma X + \mu の逆関数が存在する必要があることに注意.
- 両辺を y で微分.
\begin{align*}
f_Y(y)
&=
\frac{d}{dy}F_X(\frac{y-\mu}{\sigma})
\\
&=
f_X(\frac{y-\mu}{\sigma})\frac{d}{dy}\big(\frac{y-\mu}{\sigma}\big)
\\
&=
f_X(\frac{y-\mu}{\sigma}) \cdot (\frac{1}{\sigma}\big)
\\
&=
(2\pi)^{-\frac{1}{2}}\exp(-\frac{(y-\mu)^2}{2\sigma^2}) \cdot (\sigma^2\big)^{-\frac{1}{2}}
\\
&=
(2\pi\sigma^2)^{-\frac{1}{2}}\exp\biggl\{-\frac{(y-\mu)^2}{2\sigma^2}\biggr\}.
\end{align*}
- ちなみにこの導出以外にも特性関数などを用いることにより, 導出する方法があるが主旨が変わるためここでは省略する.
標準正規分布の導出・期待値・分散
ここまでで標準正規分布の分布形さえ抑えることができれば, 定義から期待値・分散を十分な速さで導出できることを示した. よって最後に標準正規分布に関していくつか導出をする.
標準正規分布の分布形の導出
- 標準正規分布は以下のような分布である. ただし, c は正規化定数.
\begin{align*}
f_X(x)
&=
\phi(x)
\\
&=
c \cdot e^{-\frac{x^2}{2}}.
\end{align*}
- ここで正規化定数について分布関数の性質より以下が成り立つ.
\begin{align*}
\int_{-\infty}^{\infty} c \cdot e^{-\frac{x^2}{2}} dx =1
\Rightarrow
c^{-1} = \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx \cdots(1)
\end{align*}
- (1)式について 1/2 の部分は定数であるため, 一旦考えず以下の積分を考える.
- 偶関数の積分を用いて変形する.
\begin{align*}
\int_{-\infty}^{\infty} e^{-x^2} dx
&=
2\int_{0}^{\infty} e^{-x^2} dx.
\end{align*}
I(x) = \int_{-\infty}^{\infty} e^{-x^2} dx.
\begin{align*}
I(x) I(y)
&=
4\int_{0}^{\infty} e^{-x^2}\bigg(\int_{0}^{\infty} e^{-y^2}dy\bigg)dx
\\
&=
4\int_{0}^{\infty}\int_{0}^{\infty}e^{-x^2} e^{-y^2}dydx
\\
&=
4\int_{0}^{\infty}\int_{0}^{\infty}e^{-(x^2+y^2)}dydx \cdots (2)
\end{align*}
- ここで, y=xs と置換する.
- このとき, dy/ds = x, \quad y \rightarrow\infty, s \rightarrow \infty.
\begin{align*}
(2)式
&=
4\int_{0}^{\infty}\int_{0}^{\infty}e^{-x^2(1+x^{-2}y^2)}dydx
\\
&=
4\int_{0}^{\infty}\int_{0}^{\infty}e^{-x^2(1+x^{-2}y^2)}\frac{dy}{ds}dsdx
\\
&=
4\int_{0}^{\infty}\int_{0}^{\infty}e^{-x^2(1+x^{-2}x^2s^2)}xdsdx
\\
&=
4\int_{0}^{\infty}\int_{0}^{\infty}xe^{-x^2(1+s^2)}dsdx
\\
&=
4\int_{0}^{\infty}\bigg\{\int_{0}^{\infty}xe^{-x^2(1+s^2)}dx\bigg\}ds
\\
&=
4\int_{0}^{\infty}\bigg\{\int_{0}^{\infty}\frac{d}{dx}\bigg(-2^{-1}\frac{1}{(1+s^2)}e^{-x^2(1+s^2)}\bigg)dx\bigg\}ds
\\
&=
-2\int_{0}^{\infty}\frac{1}{(1+s^2)}\bigg\{\int_{0}^{\infty}\frac{d}{dx}\bigg(e^{-x^2(1+s^2)}\bigg)dx\bigg\}ds
\\
&=
-2\int_{0}^{\infty}\frac{1}{(1+s^2)}\bigg[e^{-x^2(1+s^2)}\bigg]_{0}^{\infty}ds
\\
&=
-2\int_{0}^{\infty}\frac{1}{(1+s^2)}(0-1)ds
\\
&=
2\int_{0}^{\infty}\frac{1}{(1+s^2)}ds
\\
&=
2\int_{0}^{\infty}\frac{d}{ds}\tan^{-1}(s)ds
\\
&=
2[\tan^{-1}(s)]_{0}^{\infty}
\\
&=
2(\frac{\pi}{2}-0)
\\
&=
\pi.
\end{align*}
I(\cdot) = \pi^{-\frac{1}{2}}.
- ところで, 求めたい積分は以下の(1)式の右辺であった.
\begin{align*}
c^{-1} = \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx \cdots(1)
\end{align*}
- (1)の右辺の指数部分を
- ここで, z=x/\sqrt{2} と置換する.
- このとき, dx/dt = \sqrt{2}, \quad x \rightarrow\infty, t \rightarrow \infty.
\begin{align*}
\int_0^\infty e^{-\frac{x^2}{2}} dx
&=
\int_0^\infty e^{\big(-\frac{x}{\sqrt{2}}\big)^2} dx
\\
&=
\int_0^\infty e^{\big(-\frac{x}{\sqrt{2}}\big)^2} \frac{dx}{dt}dt
\\
&=
\int_0^\infty e^{-t^2}\sqrt{2}dt
\\
&=
\sqrt{2}\int_0^\infty e^{-t^2}dt
\\
&=
\sqrt{2} \cdot \sqrt{\pi}
\\
&=
(2\pi)^{\frac{1}{2}}.
\end{align*}
- 4行目から5行目の変形は先ほど求めた I(\cdot) = \pi^{-\frac{1}{2}} を用いている.
- 以上より,
\phi(x) = (2\pi)^{-\frac{1}{2}}e^{-\frac{x^2}{2}}
補足: ガウス積分
導出した積分計算は解析学の分野でガウス積分と呼ばれる公式そのものである. 本記事は私自身のメモでもあるため導出を書いているが, よく知られた公式であるため「ガウス積分を用いた」と書けば十分であると思われる.
\begin{align*}
\int_{-\infty}^\infty e^{-x^2} dx
&=
\pi^{\frac{1}{2}}\cdots(3)
\\
\int_{-\infty}^\infty e^{-\frac{x^2}{2}} dx
&=
(2\pi)^{\frac{1}{2}}\cdots(4)
\end{align*}
標準正規分布の期待値
\begin{align*}
\mathbb{E}(x)
&=
\int_{-\infty}^{\infty} x (2\pi)^{\frac{1}{2}} e^{-\frac{x^2} {2}}dx
\\
&=
(2\pi)^{\frac{1}{2}}\int_{-\infty}^{\infty} xe^{-\frac{x^2} {2}}dx
\\
&=
(2\pi)^{\frac{1}{2}} \cdot 0
\\
&=
0.
\end{align*}
標準正規分布の分散
\begin{align*}
\mathbb{E}(X^2)
&=
\int_{-\infty}^{\infty} x^2 (2\pi)^{-\frac{1}{2}} e^{-\frac{x^2} {2}}dx
\\
&=
(2\pi)^{-\frac{1}{2}}\int_{-\infty}^{\infty} x^2e^{-\frac{x^2} {2}}dx
\\
&=
(2\pi)^{-\frac{1}{2}}\int_{-\infty}^{\infty} -x\cdot-xe^{-\frac{x^2} {2}}dx
\\
&=
(2\pi)^{-\frac{1}{2}}\int_{-\infty}^{\infty} -x\cdot\big(\frac{d}{dx}e^{-\frac{x^2}{2}}\big)dx
\\
&=
(2\pi)^{-\frac{1}{2}}\big([-x\cdot e^{-\frac{x^2}{2}}]_{-\infty}^{\infty}+\int_{-\infty}^{\infty}e^{-\frac{x^2}{2}}\big)
\\
&=
(2\pi)^{-\frac{1}{2}}(2\pi)^{\frac{1}{2}}
\\
&=
1.
\\
\\
\mathbb{V}(X)
&=
\mathbb{E}(X^2) -(\mathbb{E}(X))^2
\\
&=
1-0
\\
&=
1.
\end{align*}
- 5行目は第一項は足し引きで打ち消し合い, 第二項のみが残る.
- 5行目の第二項は(1)式の右辺部分. こちらは, c^{-1}で正規化項の逆数であるから1になる.
- (ガウス積分の結果を用いたと記述しても問題ない)
\begin{align*}
c^{-1} = \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx \cdots(1)
\end{align*}
- 余談ではあるが正規化項の逆数であることを用いて積分を変形するテクニックは他の確率分布でも見られる.
- 具体的にはベータ分布のの期待値・分散などが挙げられる.
\begin{align*}\mathbb{E}(X)&=\int_0^1 x \frac{1}{B(a,b)} x^{a-1}(1-x)^{b-1}\;dx\\&=\frac{1}{B(a,b)}\int_0^1 x^{a}(1-x)^{b-1}\;dx\\&=\frac{1}{B(a,b)}B(a+1,b)\int_0^1 \frac{1}{B(a+1,b)} x^{a}(1-x)^{b-1}\;dx\\&=\frac{1}{B(a,b)}\frac{a}{(a+b)}B(a,b)\cdot 1\\&=\frac{a}{(a+b)}\end{align*}
[統計学]ベータ分布の期待値と分散
参考文献
Discussion