確率密度関数
ガンマ分布の確率密度関数は以下で表される
\begin{align*}
&f(x|\alpha, \beta) =
\frac{1}{\beta^\alpha \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{x}{\beta}} \quad \text{if}\quad 0<x, \quad f(x|\alpha, \beta)=0 \quad \text{otherwise}
\\
&\text{Where,}\quad \Gamma{(\alpha)}=\int_0^\infty x^{\alpha-1} e^{-x} dx,\;0<\alpha
\end{align*}
上式に登場する \Gamma{(\cdot )} だが, 以下の特徴がある.
01. \Gamma{(\frac{1}{2})}=\sqrt{\pi}
\begin{align*}
\Gamma{(\frac{1}{2})}
&=
\int_0^\infty x^{\frac{1}{2}-1} e^{-x} dx
\\
&=
\int_0^\infty x^{-\frac{1}{2}} e^{-x} dx
\end{align*}
ここで, x^{\frac{1}{2}}=u とすれば, 以下が成り立つ.
\begin{align*}
e^{-x} x^{-\frac{1}{2}}
&=
e^{-u^2} u^{-1},\\
\frac{dx}{du} &= 2u
\end{align*}
従って,
\begin{align*}
\Gamma{(\frac{1}{2})}
&=
\int_0^\infty e^{-u^2} u^{-1} dx
\\
&=
\int_0^\infty e^{-u^2} u^{-1} \frac{dx}{du} du
\\
&=
\int_0^\infty e^{-u^2} u^{-1} 2u \; du
\\
&=
2\int_0^\infty e^{-u^2} \; du
\\
&=
2 \cdot \frac{\sqrt{\pi}}{2}
\\
&=
\sqrt{\pi}
\end{align*}
4行目から5行目の変形にはガウス積分と呼ばれる公式を用いた. 尚, ガウス積分については本記事の範囲を超える為詳しく扱わないこととする.
02. \Gamma{(u+1)}=u\Gamma{(u)}, \; u > 0 \in \R
先に紹介した式は, 以降の解説では用いないが, この式はこの後の計算ほぼすべてで使用するため解説をする.
方針としては \Gamma{(u)} を作るために x^u の次元を減らすことである. 次元を減らす公式としては部分積分があるのでこれを用いる.
\begin{align*}
\Gamma{(u+1)}
&=
\int_0^\infty x^{(u+1)-1}e^{-x}\;dx
\\
&=
\int_0^\infty x^{u}\{-e^{-x}\}'\; dx
\\
&=
\biggl[
x^{u}\cdot -e^{-x}
\biggr]_0^\infty
-
\int_0^\infty \{x^{u}\}' \cdot -e^{-x} \; dx
\\
&=
(0-0)
+
\int_0^\infty ux^{u-1} \cdot e^{-x} \; dx
\\
&=
u
\int_0^\infty x^{u-1} \cdot e^{-x} \; dx
\\
&=
u \Gamma{(u)}
\end{align*}
3行目第一項はx に0, +\infty をどちらを代入しても0となる為消去できる.
また, 5行目はx に関する積分であることからu を定数として積分の外に出している.
期待値・分散
期待値・分散は定義からパラメータが元の式とは異なる確率密度関数の積分と定数係数に分けて導出する.
期待値
\begin{align*}
\mathbb{E}(X)
&=
\int_0^\infty x f(x|\alpha, \beta)\;dx
\\
&=
\int_0^\infty
x
\frac{1}{\beta^\alpha \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\int_0^\infty
\frac{1}{\beta^{-1}\beta^{\alpha+1} \alpha^{-1}\Gamma{(\alpha+1)}}
x^{(\alpha+1)-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\alpha
\beta
\int_0^\infty
\frac{1}{\beta^{\alpha+1} \Gamma{(\alpha+1)}}
x^{(\alpha+1)-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\alpha \beta \int_0^\infty f(x|\alpha+1, \beta)\; dx
\\
&=
\alpha \beta
\end{align*}
分散
\begin{align*}
\mathbb{E}(X^2)
&=
\int_0^\infty
x^2
\frac{1}{\beta^\alpha \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\int_0^\infty
\frac{1}{\beta^{-2}\beta^{\alpha+2} \alpha^{-1}\Gamma{(\alpha+1)}}
x^{(\alpha+2)-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\int_0^\infty
\frac{1}{\beta^{-2}\beta^{\alpha+2} \alpha^{-1}(\alpha+1)^{-1}\Gamma{(\alpha+2)}}
x^{(\alpha+2)-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\alpha\beta^2(\alpha+1)
\int_0^\infty
\frac{1}{\beta^{\alpha+2} \Gamma{(\alpha+2)}}
x^{(\alpha+2)-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\alpha\beta^2(\alpha+1)
\int_0^\infty
f(x|\alpha+2,\beta)
\;dx
\\
&=
\alpha\beta^2(\alpha+1)
\end{align*}
\begin{align*}
\mathbb{V}(X)
&=
\mathbb{E}(X^2)-\mathbb{E}(X)^2
\\
&=
\alpha\beta^2(\alpha+1)-(\alpha\beta)^2
\\
&=
\alpha\beta^2
\end{align*}
積率母関数
\begin{align*}
M_X(t)
&=
\mathbb{E}(e^{tX})
\\
&=
\int_0^\infty e^{tx} \frac{1}
{\beta^\alpha \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\int_0^\infty e^{-\frac{-tx\beta}{\beta}} \frac{1}
{\beta^\alpha \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{x}{\beta}}
\;dx
\\
&=
\int_0^\infty \frac{1}
{\beta^\alpha \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{1-t\beta}{\beta}x}
\;dx
\\
&=
\int_0^\infty \frac{1}
{(\beta \frac{1-t\beta}{\beta}\frac{\beta}{1-t\beta})^\alpha \; \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{1-t\beta}{\beta}x}
\;dx
\\
&=
\int_0^\infty \frac{1}
{(\frac{1-t\beta}{1}\frac{\beta}{1-t\beta})^\alpha \; \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{1-t\beta}{\beta}x}
\;dx
\\
&=
\int_0^\infty \frac{1}
{(1-t\beta)^{\alpha}(\frac{\beta}{1-t\beta})^\alpha \; \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{1-t\beta}{\beta}x}
\;dx
\\
&=
(1-t\beta)^{-\alpha}
\int_0^\infty \frac{1}
{(\frac{\beta}{1-t\beta})^\alpha \; \Gamma{(\alpha)}}
x^{\alpha-1} e^{-\frac{1-t\beta}{\beta}x}
\;dx
\\
&=
(1-t\beta)^{-\alpha}
\int_0^\infty f(x|\alpha, \frac{1}{1-t\beta})
\;dx
\\
&=
(1-t\beta)^{-\alpha}
\end{align*}
積率母関数を用いた期待値の導出
\begin{align*}
\mathbb{E}(X)
&=
M_X(t)' \; |_{t=0}
\\
&=
\frac{d}{dt}(1-t\beta)^{-\alpha} \; |_{t=0}
\\
&=
-\alpha (1-t\beta)^{-(\alpha+1)} \{(1-t\beta)\}' \; |_{t=0}
\\
&=
-\alpha (1-t\beta)^{-(\alpha+1)} (-\beta) \; |_{t=0}
\\
&=
\alpha\beta (1-t\beta)^{-(\alpha+1)} \; |_{t=0}
\\
&=
\alpha\beta (1-0\cdot\beta)^{-(\alpha+1)}
\\
&=
\alpha\beta
\end{align*}
積率母関数を用いた分散の導出
\begin{align*}
\mathbb{E}(X)
&=
M_X(t)'' \; |_{t=0}
\\
&=
\{
\alpha\beta (1-t\beta)^{-(\alpha+1)}
\}'
\; |_{t=0}
\\
&=
\alpha\beta(\alpha+1) (1-t\beta)^{-(\alpha+2)}
\{
(1-t\beta)
\}'
\; |_{t=0}
\\
&=
-\alpha\beta(\alpha+1) (1-t\beta)^{-(\alpha+2)}
(-\beta)
\; |_{t=0}
\\
&=
-\alpha\beta(\alpha+1) (1-t\beta)^{-(\alpha+2)}
(-\beta)
\; |_{t=0}
\\
&=
-\alpha\beta(\alpha+1) (1-0\cdot \beta)^{-(\alpha+2)}
(-\beta)
\\
&=
\alpha\beta^2(\alpha+1)
\end{align*}
\begin{align*}
\mathbb{V}(X)
&=
\mathbb{E}(X^2)-\mathbb{E}(X)^2
\\
&=
\alpha \beta^2(\alpha+1) - (\alpha \beta)^2
\\
&=
\alpha\beta^2
\end{align*}
可視化
導出より, \alpha を大きくすると期待値・分散ともに線形に大きくなる. 一方で, \beta は大きくすると期待値は線形に大きくなるが, 分散は二乗になると考えられる. これらを検証すると以下のようになる.
01: \alphaを変化させたときのガンマ分布
02: \betaを変化させたときのガンマ分布
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import gamma
x = np.arange(0, 10, 0.01)
beta = 1
ys = []
for alpha in [0.9,1,2,3,4]:
y = [
gamma.pdf(
x_,
a=alpha,
scale=beta,
loc=0
)
for x_ in x
]
ys.append(y)
sns.set()
sns.set_style("whitegrid", {'grid.linestyle': '--'})
sns.set_context("talk", 0.8, {"lines.linewidth": 2})
sns.set_palette("cool", 5, 0.9)
fig=plt.figure(figsize=(16,9))
ax1 = fig.add_subplot(1, 1, 1)
ax1.set_title('Gamma Distribution (beta=1)')
ax1.set_ylabel('probability density')
for y in ys:
ax1.plot(x,y)
ax1.legend(['alpha=0.9','alpha=1','alpha=2','alpha=3','alpha=4'])
plt.show()
参考文献
(1) 竹村彰通.”新装改訂版 現代数理統計学”.2020.学術図書出版社
(2) 一般社団法人 日本統計学会.”日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック”.2020.学術図書出版社
(3) 一般社団法人 日本統計学会.”日本統計学会公式認定 統計検定1級対応 統計学”.2013.東京図書出版社
(4) C.M.ビショップ.”パターン認識と機械学習 上 ベイズ理論による統計的予測”.2019.丸善出版株式会社
Discussion