📊

統計検定準1級：連続型確率分布のまとめ

2024/09/23に公開

2件

概要

統計検定準1級を受験するにあたって，自身で大事だなと思うpointをまとめており，何個か作っているチートシートのうちの一つです．
今回は連続型確率分布の分野に関する記事です．

抑えておく基本事項

積率母関数（モーメント母関数）

定義

積率母関数は確率母関数^[1]において $s = e^t$ とおいたものであり，連続型確率変数の場合に用いられることが多い．^[2]積率母関数 $M(t)$ は，確率変数 $X$ に対して， $t$ を任意の実数とするとき， $X$ の積率母関数は以下のように定義される．

\begin{align*} M(t) = E[e^{tX}] = G(e^t) \end{align*}

使い方

積率母関数 $M(t)$ を微分すると， $M^\prime(t) = E[Xe^{tX}]$ ， $M^{\prime\prime}(t) = E[X^2e^{tX}]$ であるが，ここで $t=0$ を代入すると

\begin{align} M^\prime(0) = E[X] \\ M^{\prime\prime}(0) = E[X^2] \end{align}

を得る．これより $X$ の期待値と分散が

\begin{align*} & E[X] = M^\prime(0) \\ & V[X] = E[X^2] - (E[X])^2 = M^{\prime\prime}(0) - (M^\prime(0))^2 \end{align*}

のように表される事がわかる．

主な連続型確率分布

連続一様分布

$a < b$ を満たす $a, b$ に対し，確率密度関数

\begin{equation*} f(x) = \left\{ \begin{gathered} \frac{1}{b-a} &(a \leq x \leq b)\\ 0 &(otherwise) \end{gathered} \right. \end{equation*}

をもつ分布を連続一様分布といい， $U(a, b)$ で表す．

$X \sim U(a, b)$ のとき，平均と分散は

\begin{align} E[X] &= \frac{a+b}{2} \\ V[X] &= \frac{(b-a)^2}{12} \end{align}

となる．

(3)の証明

期待値の定義より求める

\begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{a}^{b} x \cdot \frac{1}{b-a} \, dx \\ &= \frac{1}{b-a} \int_{a}^{b} \left(\frac{1}{2}x^2\right)^\prime \, dx \\ &= \frac{1}{b-a} \left[\frac{1}{2}x^2\right]^b_a \\ &= \frac{b^2 - a^2}{2(b-a)} \\ &= \frac{a+b}{2} \end{align*}

(4)の証明

$E[X^2]$ を求め，式(9) $V[X] = E[X^2] - (E[X])^2$ より求める

\begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\ &= \int_{-\infty}^{\infty} x^2 \cdot \frac{1}{b-a} \, dx \\ &= \frac{1}{b-a} \int_{-\infty}^{\infty} \left(\frac{1}{3}x^3\right)^\prime \, dx \\ &= \frac{1}{b-a} \left[\frac{1}{3}x^3\right]^b_a \\ &= \frac{b^3 - a^3}{3(b-a)} \\ &= \frac{(b-a)(b^2 - ab + a^2)}{3(b-a)} \\ &= \frac{b^2 - ab + a^2}{3} \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{b^2 - ab + a^2}{3} - \left(\frac{a+b}{2}\right)^2 \\ &= \frac{4(b^2 - ab + a^2)}{12} - \frac{3(a^2 + 2ab + b^2)}{12} \\ &= \frac{b^2 -2ab + a^2}{12} \\ &= \frac{(b-a)^2}{12} \end{align*}

また，積率母関数は以下のようになる．

\begin{align} M(t) = \frac{e^{bt} - e^{at}}{(b-a)t}, \quad -\infty < t < \infty \end{align}

積率母関数を使った期待値の計算

$E[X] = M^\prime(0)$ を用いて期待値を求める．^[3]

\begin{align*} E[X] &= M^\prime(0) \\ &= \left.\left(\frac{e^{bt} - e^{at}}{(b-a)t}\right)^\prime\right|_{t=0} \\ &= \left.\frac{(be^{bt} - ae^{at})(b-a)t - (e^{bt} - e^{at})(b-a)}{\{(b-a)t\}^2}\right|_{t=0} \\ &= \left.\frac{(be^{bt} - ae^{at})t - (e^{bt} - e^{at})}{(b-a)t^2}\right|_{t=0} \\ \end{align*}

ロピタルの定理を前述の式に適応させて計算すると，以下のように期待値が導ける．

\begin{align*} &= \lim_{t \to 0} \frac{\{(b^2e^{bt} - a^2e^{at})t + (be^{bt} - ae^{at})\} - (be^{bt} - ae^{at})}{2(b-a)t} \quad(\because ロピタルの定理)\\ &= \lim_{t \to 0} \frac{(b^2e^{bt} - a^2e^{at})t}{2(b-a)t} \\ &= \lim_{t \to 0} \frac{b^2e^{bt} - a^2e^{at}}{2(b-a)} \\ &= \frac{(b-a)(b+a)}{2(b-a)} \\ &= \frac{a+b}{2} \end{align*}

(5)の証明

積率母関数の定義より求める．

\begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{-\infty}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{-\infty}^{a} e^{tx} f(x) \, dx + \int_{b}^{a} e^{tx} f(x) \, dx + \int_{b}^{\infty} e^{tx} f(x) \, dx\\ &= 0 + \int_{b}^{a} e^{tx} f(x) \, dx + 0\\ &= \int_{b}^{a} e^{tx} \cdot \frac{1}{b-a} \, dx \\ &= \frac{1}{(b-a)} \int_{b}^{a} \left(\frac{e^{tx}}{t}\right)^\prime \, dx \\ &= \frac{1}{(b-a)} \left[\frac{e^{tx}}{t}\right]^{b}_{a} \\ &= \frac{e^{bt} - e^{at}}{(b-a)t} \end{align*}

さらに，連続型一様分布は再生性を持たない．

再生性を持たないことの証明

独立な二つの確率変数を考え $X, Y$ を考える． $X \sim U(a, b)$ ， $Y \sim U(c, d)$ にそれぞれ従うとき， $X + Y$ の積率母関数を計算する．この時，積率母関数が同じ形になっていないことを示す．

\begin{align*} M_{X+Y}(t) &= E[e^{t(X+Y)}] \\ &= E[e^{tX} e^{tY}] \\ &= E[e^{tX}] E[e^{tY}] \quad(\because XとYは独立なため(5)式) \\ &= M_X(t) \cdot M_Y(t) \\ &= \frac{e^{bt} - e^{at}}{(b-a)t} \cdot \frac{e^{dt} - e^{ct}}{(d-c)t} \\ &\neq \frac{e^{(b+d)t} - e^{(a+c)t}}{\{(b+d) - (a+c)\}t} \end{align*}

正規分布

実数 $\mu$ と $\sigma > 0$ に対し，確率密度関数

f(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]

をもつ分布を正規分布あるいはガウス分布といい， $N \sim (\mu, \sigma^2)$ で表す．

特に $\mu = 0, \sigma^2 = 1$ のときの $N(0, 1)$ は，標準正規分布 と呼ばれる． $Z \sim N(0, 1)$ の確率密度関数は $\phi(z)$ ，累積分布関数は $\Phi(z)$ で表される．

\begin{align} \phi(z) &\coloneqq \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \\ \Phi(z) &\coloneqq P(Z \leq z) = \int_{-\infty}^{z} \phi(t) \, dt, \quad Z \sim N(0, 1) \end{align}

標準正規分布の確率密度関数の導出

$X \sim N(\mu, \sigma^2)$ とし，正規分布の確率密度関数 $f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]$ を用いて，標準正規分布の確率密度関数を導出する．

\begin{align*} \Phi(z) &= P(Z \leq z) \\ \\ &ここで，Z = \frac{X - \mu}{\sigma}の変数変換を考えると \\ &= P(\frac{X - \mu}{\sigma} \leq z) \\ &= P(X \leq \sigma z + \mu) \\ &= F_X(\sigma z + \mu) \\ \\ &ここで，確率密度関数と累積分布関数の関係 f(x) = \frac{d}{dx} \int_{-\infty}^{x} f(t) \, dt を計算すれば良く \\ \phi(z) &= \frac{d}{dz} F_X(\sigma z + \mu) \\ &= F_X^\prime(\sigma z + \mu) \times \sigma \\ &= f_X(\sigma z + \mu) \times \sigma \\ &= \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{(\sigma z + \mu)-\mu\}^2}{2\sigma^2}\right] \cdot \sigma \\ &= \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{z^2}{2}\right) \end{align*}

(6)が確率密度関数になることの証明

変数変換を用いた重積分を使って証明する
f(x)=12πexp⁡(−x22)f(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right)f(x)=2π​1​exp(−2x2​) は標準正規分布 N(0,12)N(0, 1^2)N(0,12) の確率密度関数である．
I=∫−∞∞exp⁡(−x22) dx
I = \int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx
I=∫−∞∞​exp(−2x2​)dxとおく，これより，
I2={∫−∞∞exp⁡(−x22) dx}{∫−∞∞exp(−y22) dy}=∫−∞∞∫−∞∞exp⁡(−x2+y22) dxdy
\begin{align*}
    I^2 &= \left\{\int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx \right\} \left\{\int_{-\infty}^{\infty} exp\left(-\frac{y^2}{2}\right) \, dy \right\} \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \exp\left(-\frac{x^2 + y^2}{2}\right) \, dxdy
\end{align*}
I2​={∫−∞∞​exp(−2x2​)dx}{∫−∞∞​exp(−2y2​)dy}=∫−∞∞​∫−∞∞​exp(−2x2+y2​)dxdy​の重積分を考える．x=rcosθx = rcos\thetax=rcosθ, y=rsinθy = rsin\thetay=rsinθ と変換（これを極座標[4]変換と呼ぶ）すると，x:−∞→∞x: -\infty \to \inftyx:−∞→∞，y:−∞→∞y: -\infty \to \inftyy:−∞→∞ のとき r:0→∞r: 0 \to \inftyr:0→∞，θ:0→2π\theta: 0 \to 2\piθ:0→2π となる．また，ヤコビアンは
J=∣∂x∂r∂x∂θ∂y∂r∂y∂θ∣=∣cosθ−rsinθsinθrcosθ∣=rcos2θ+rsin2θ=r
J =
\begin{vmatrix}
    \frac{\partial x}{\partial r} & \frac{\partial x}{\partial \theta} \\
    \frac{\partial y}{\partial r} & \frac{\partial y}{\partial \theta}
\end{vmatrix}
= \begin{vmatrix}
    cos\theta & -r sin\theta \\
    sin \theta &  r cos\theta
\end{vmatrix}
= rcos^2\theta + rsin^2\theta = r
J=​∂r∂x​∂r∂y​​∂θ∂x​∂θ∂y​​​=​cosθsinθ​−rsinθrcosθ​​=rcos2θ+rsin2θ=rである．これらより，
I2=∫0π∫0∞exp⁡(−(rcosθ)2+(rsinθ)22)∣J∣ drdθ=∫02π{∫0∞exp⁡(−r22) rdr} dθ=∫02π[−exp⁡(−r22)]0∞ dθ=∫02π[0−(−1)] dθ=∫02π1 dθ=2π
\begin{align*}
    I^2 &= \int_{0}^{\pi} \int_{0}^{\infty} \exp\left(-\frac{(rcos\theta)^2 + (rsin\theta)^2}{2}\right) |J| \, drd\theta \\
    &= \int_{0}^{2\pi} \left\{\int_{0}^{\infty} \exp\left(-\frac{r^2}{2}\right) \, rdr\right\} \, d\theta \\
    &= \int_{0}^{2\pi} \left[-\exp\left(-\frac{r^2}{2}\right) \right]_{0}^{\infty} \, d\theta \\
    &= \int_{0}^{2\pi} \left[0 - (-1) \right] \, d\theta \\
    &= \int_{0}^{2\pi} 1 \, d\theta \\
    &= 2\pi
\end{align*}
I2​=∫0π​∫0∞​exp(−2(rcosθ)2+(rsinθ)2​)∣J∣drdθ=∫02π​{∫0∞​exp(−2r2​)rdr}dθ=∫02π​[−exp(−2r2​)]0∞​dθ=∫02π​[0−(−1)]dθ=∫02π​1dθ=2π​を得る．これより，I=2πI = \sqrt{2\pi}I=2π​ であるから，
2π=∫−∞∞exp⁡(−x22) dx⇔∫−∞∞12πexp⁡(−x22) dx=1
\begin{align*}
    & \sqrt{2\pi} = \int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx \\
    \Leftrightarrow & \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) \, dx = 1
\end{align*}
⇔​2π​=∫−∞∞​exp(−2x2​)dx∫−∞∞​2π​1​exp(−2x2​)dx=1​

$X \sim N(\mu, \sigma^2)$ のとき，平均と分散は

\begin{align} E[X] &= \mu \\ V[X] &= \sigma^2 \end{align}

となる．

(8)の証明

①期待値の定義から求める
E[X]=∫−∞∞xf(x) dx=∫−∞∞x⋅12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μ+μ)⋅12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μ)⋅12πσexp⁡[−(x−μ)22σ2] dx+∫−∞∞μ12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μσ)12πexp⁡[−12(x−μσ)2] dx+μ∫−∞∞12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μσ)12πexp⁡[−12(x−μσ)2] dx+μここでy=x−μσとおくと，dydx=1σ⇔dx=σdy=∫−∞∞y⋅12πexp⁡(−12y2) σdy+μ=σ2π∫−∞∞y⋅exp⁡(−12y2) dy+μ=0+μ(∵y⋅e−12y2は奇関数であるから)=μ
\begin{align*}
    E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
    &= \int_{-\infty}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{-\infty}^{\infty} (x - \mu + \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right]\, dx \\
    &= \int_{-\infty}^{\infty} (x - \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[- \frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + \int_{-\infty}^{\infty} \mu \frac{1}{\sqrt{2\pi}\sigma} \exp\left[- \frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{-\infty}^{\infty} \left(\frac{x - \mu}{\sigma}\right) \frac{1}{\sqrt{2\pi}} \exp\left[-\frac{1}{2} \left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{-\infty}^{\infty} \left(\frac{x - \mu}{\sigma}\right) \frac{1}{\sqrt{2\pi}} \exp\left[-\frac{1}{2} \left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu \\
    \\
    &ここで y = \frac{x - \mu}{\sigma}とおくと，\frac{dy}{dx} = \frac{1}{\sigma} \Leftrightarrow dx = \sigma dy \\
    &= \int_{-\infty}^{\infty}  y \cdot \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{1}{2} y^2 \right) \, \sigma dy + \mu \\
    &= \frac{\sigma}{\sqrt{2\pi}} \int_{-\infty}^{\infty} y \cdot \exp\left(-\frac{1}{2} y^2 \right) \, dy + \mu \\
    &= 0 + \mu \quad(\because y \cdot e^{-\frac{1}{2} y^2} は奇関数であるから) \\
    &= \mu
\end{align*}
E[X]​=∫−∞∞​xf(x)dx=∫−∞∞​x⋅2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​(x−μ+μ)⋅2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​(x−μ)⋅2π​σ1​exp[−2σ2(x−μ)2​]dx+∫−∞∞​μ2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​(σx−μ​)2π​1​exp[−21​(σx−μ​)2]dx+μ∫−∞∞​2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​(σx−μ​)2π​1​exp[−21​(σx−μ​)2]dx+μここでy=σx−μ​とおくと，dxdy​=σ1​⇔dx=σdy=∫−∞∞​y⋅2π​1​exp(−21​y2)σdy+μ=2π​σ​∫−∞∞​y⋅exp(−21​y2)dy+μ=0+μ(∵y⋅e−21​y2は奇関数であるから)=μ​②標準正規分布の期待値から求める

確率変数 XXX が標準正規分布 N(0,1)N(0, 1)N(0,1) に従うとする．このとき Y=σX+μY = \sigma X + \muY=σX+μ と変換すると正規分布 N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2) に従うことから
E[Y]=E[σX+μ]=σE[X]+μ=σ⋅0+μ=μ
\begin{align*}
    E[Y] &= E[\sigma X + \mu] \\
    &= \sigma E[X] + \mu \\
    &= \sigma \cdot 0 + \mu \\
    &= \mu
\end{align*}
E[Y]​=E[σX+μ]=σE[X]+μ=σ⋅0+μ=μ​

(9)の証明

① E[X2]E[X^2]E[X2] を求め，式(9) V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2V[X]=E[X2]−(E[X])2 より求める
E[X2]=∫−∞∞x2f(x) dx=∫−∞∞x2⋅12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞{(x−μ)2+2μx−μ2}⋅12πσexp[−(x−μ)22σ2] dx=∫−∞∞(x−μ)2⋅12πσexp⁡[−(x−μ)22σ2] dx+∫−∞∞2μx⋅12πσexp⁡[−(x−μ)22σ2] dx−∫−∞∞μ2⋅12πσexp[−(x−μ)22σ2] dx=∫−∞∞(x−μ)2⋅12πσexp[−(x−μ)22σ2] dx+2μ∫−∞∞x⋅12πσexp⁡[−(x−μ)22σ2] dx−μ2∫−∞∞12πσexp[−(x−μ)22σ2] dx=∫−∞∞(x−μ)2⋅12πσexp⁡[−(x−μ)22σ2] dx+2μ⋅μ−μ2⋅1=∫−∞∞(x−μσ)2⋅σ2πexp⁡[−12(x−μσ)2] dx+μ2ここでy=x−μσとおくと，dydx=1σ⇔dx=σdy=∫−∞∞y2⋅σ2πexp⁡(−y22) σdy+μ2=σ22π∫−∞∞y2⋅exp⁡(−y22) dy+μ2=σ22π∫−∞∞−y⋅(−ye−y22) dy+μ2=σ22π∫−∞∞−y⋅(e−y22)′ dy+μ2=σ22π{[−y⋅e−y22]∞−∞−∫−∞∞−1⋅e−y22 dy}+μ2=0+σ22π∫−∞∞e−y22 dy+μ2=σ2∫−∞∞12πe−y22 dy+μ2=σ2×1+μ2(∵標準正規分布の確率密度関数であるから，∫−∞∞12πe−y22 dy=1)=σ2+μ2∴V[X]=E[X2]−(E[X])2=σ2+μ2−μ2=σ2
\begin{align*}
    E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\
    &= \int_{-\infty}^{\infty} x^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{-\infty}^{\infty} \{(x-\mu)^2 + 2\mu x - \mu^2\} \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + \int_{-\infty}^{\infty} 2\mu x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx  - \int_{-\infty}^{\infty} \mu^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + 2\mu \int_{-\infty}^{\infty}  x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx  - \mu^2 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + 2\mu \cdot \mu - \mu^2 \cdot 1 \\
    &= \int_{-\infty}^{\infty} \left(\frac{x-\mu}{\sigma}\right)^2 \cdot \frac{\sigma}{\sqrt{2\pi}} \exp\left[-\frac{1}{2}\left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu^2 \\
    \\
    &ここで y = \frac{x - \mu}{\sigma}とおくと，\frac{dy}{dx} = \frac{1}{\sigma} \Leftrightarrow dx = \sigma dy \\
    &= \int_{-\infty}^{\infty} y^2 \cdot \frac{\sigma}{\sqrt{2\pi}} \exp\left(-\frac{y^2}{2}\right) \, \sigma dy + \mu^2 \\
    &= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} y^2 \cdot \exp\left(-\frac{y^2}{2}\right) \, dy + \mu^2 \\
    &= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} -y \cdot \left(-y e^{-\frac{y^2}{2}}\right) \, dy + \mu^2 \\
    &= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} -y \cdot \left(e^{-\frac{y^2}{2}}\right)^\prime \, dy + \mu^2 \\
    &= \frac{\sigma^2}{\sqrt{2\pi}}\left\{\left[-y \cdot e^{-\frac{y^2}{2}}\right]^{-\infty}_{\infty} - \int_{-\infty}^{\infty} -1 \cdot e^{-\frac{y^2}{2}} \, dy\right\} + \mu^2 \\
    &= 0 + \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{y^2}{2}} \, dy + \mu^2 \\
    &= \sigma^2 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{y^2}{2}} \, dy + \mu^2 \\
    &= \sigma^2 \times 1 + \mu^2 \quad(\because 標準正規分布の確率密度関数であるから，\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{y^2}{2}} \, dy = 1) \\
    &= \sigma^2 + \mu^2 \\
    \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= \sigma^2 + \mu^2 - \mu^2 \\
    &= \sigma^2
\end{align*}
E[X2]∴V[X]​=∫−∞∞​x2f(x)dx=∫−∞∞​x2⋅2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​{(x−μ)2+2μx−μ2}⋅2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​(x−μ)2⋅2π​σ1​exp[−2σ2(x−μ)2​]dx+∫−∞∞​2μx⋅2π​σ1​exp[−2σ2(x−μ)2​]dx−∫−∞∞​μ2⋅2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​(x−μ)2⋅2π​σ1​exp[−2σ2(x−μ)2​]dx+2μ∫−∞∞​x⋅2π​σ1​exp[−2σ2(x−μ)2​]dx−μ2∫−∞∞​2π​σ1​exp[−2σ2(x−μ)2​]dx=∫−∞∞​(x−μ)2⋅2π​σ1​exp[−2σ2(x−μ)2​]dx+2μ⋅μ−μ2⋅1=∫−∞∞​(σx−μ​)2⋅2π​σ​exp[−21​(σx−μ​)2]dx+μ2ここでy=σx−μ​とおくと，dxdy​=σ1​⇔dx=σdy=∫−∞∞​y2⋅2π​σ​exp(−2y2​)σdy+μ2=2π​σ2​∫−∞∞​y2⋅exp(−2y2​)dy+μ2=2π​σ2​∫−∞∞​−y⋅(−ye−2y2​)dy+μ2=2π​σ2​∫−∞∞​−y⋅(e−2y2​)′dy+μ2=2π​σ2​{[−y⋅e−2y2​]∞−∞​−∫−∞∞​−1⋅e−2y2​dy}+μ2=0+2π​σ2​∫−∞∞​e−2y2​dy+μ2=σ2∫−∞∞​2π​1​e−2y2​dy+μ2=σ2×1+μ2(∵標準正規分布の確率密度関数であるから，∫−∞∞​2π​1​e−2y2​dy=1)=σ2+μ2=E[X2]−(E[X])2=σ2+μ2−μ2=σ2​②標準正規分布の分散から求める

確率変数 XXX が標準正規分布 N(0,1)N(0, 1)N(0,1) に従うとする．このとき Y=σX+μY = \sigma X + \muY=σX+μ と変換すると正規分布 N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2) に従うことから
V[Y]=V[σX+μ]=σ2V[X]=σ2⋅1=σ2
\begin{align*}
    V[Y] &= V[\sigma X + \mu] \\
    &= \sigma^2 V[X] \\
    &= \sigma^2 \cdot 1 \\
    &= \sigma^2
\end{align*}
V[Y]​=V[σX+μ]=σ2V[X]=σ2⋅1=σ2​

また，積率母関数は以下のようになる．

\begin{align} M(t) = \exp\left(\mu t + \frac{1}{2}\sigma^2 t^2 \right), \quad -\infty < t < \infty \end{align}

積率母関数を使った期待値と分散の計算

E[X]=M′(0)E[X] = M^\prime(0)E[X]=M′(0) を用いて期待値を求める．
E[X]=M′(0)={exp⁡(μt+12σ2t2)}′∣t=0={exp⁡(μt+12σ2t2)⋅(μ+σ2t)}∣t=0=exp⁡(μ⋅0+12σ202)⋅(μ+σ2⋅0)=exp⁡(0)⋅μ=μ
\begin{align*}
    E[X] &= M^\prime(0) \\
    &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right)\right\}^\prime\right|_{t=0} \\
    &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot (\mu + \sigma^2 t) \right\}\right|_{t=0} \\
    &= \exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot (\mu + \sigma^2 \cdot 0)\\
    &= \exp(0) \cdot \mu \\
    &= \mu
\end{align*}
E[X]​=M′(0)={exp(μt+21​σ2t2)}′​t=0​={exp(μt+21​σ2t2)⋅(μ+σ2t)}​t=0​=exp(μ⋅0+21​σ202)⋅(μ+σ2⋅0)=exp(0)⋅μ=μ​E[X2]=M′′(0)E[X^2] = M^{\prime\prime}(0)E[X2]=M′′(0) を用いて分散を求める．
E[X2]=M′′(0)={exp⁡(μt+12σ2t2)}′′∣t=0={exp⁡(μt+12σ2t2)⋅(μ+σ2t)2+exp(μt+12σ2t2)⋅σ2}∣t=0=exp⁡(μ⋅0+12σ202)⋅(μ+σ2⋅0)2+exp(μ⋅0+12σ202)⋅σ2=exp⁡(0)⋅μ2+exp(0)σ2=μ2+σ2∴V[X]=E[X2]−(E[X])2=(μ2+σ2)−μ2=σ2
\begin{align*}
    E[X^2] &= M^{\prime\prime}(0) \\
    &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right)\right\}^{\prime\prime}\right|_{t=0} \\
    &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot (\mu + \sigma^2 t)^2 + exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot \sigma^2 \right\}\right|_{t=0} \\
    &= \exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot (\mu + \sigma^2 \cdot 0)^2 + exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot \sigma^2 \\
    &= \exp(0) \cdot \mu^2 + exp(0) \sigma^2 \\
    &= \mu^2 + \sigma^2 \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= (\mu^2 + \sigma^2) - \mu^2 \\
    &= \sigma^2
\end{align*}
E[X2]∴V[X]​=M′′(0)={exp(μt+21​σ2t2)}′′​t=0​={exp(μt+21​σ2t2)⋅(μ+σ2t)2+exp(μt+21​σ2t2)⋅σ2}​t=0​=exp(μ⋅0+21​σ202)⋅(μ+σ2⋅0)2+exp(μ⋅0+21​σ202)⋅σ2=exp(0)⋅μ2+exp(0)σ2=μ2+σ2=E[X2]−(E[X])2=(μ2+σ2)−μ2=σ2​

(10)の証明

積率母関数の定義より求める．

\begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{-\infty}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{-\infty}^{\infty} e^{tx} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{x^2 - 2\mu x - 2\sigma^2tx + \mu^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{x^2 - 2(\mu + \sigma^2t)x + \mu^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2 - (\mu + \sigma^2t)^2 + \mu^2}{2\sigma^2}\right] \, dx \\ &= \exp\left(-\frac{-(\mu + \sigma^2t)^2 + \mu^2}{2\sigma^2}\right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2}{2\sigma^2}\right] \, dx \\ &= \exp\left(\frac{2\mu\sigma^2t + \sigma^4t^2}{2\sigma^2}\right) \quad(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2}{2\sigma^2}\right] \, dx = 1) \\ &= \exp\left(\mu t + \frac{1}{2} \sigma^2t^2 \right) \end{align*}

さらに，正規分布には，再生性とよばれる次の性質がある． $X_1 \sim N(\mu_1, \sigma_1^{\, 2})$ ， $X_1 \sim N(\mu_2, \sigma_2^{\, 2})$ で， $X_1$ と $X_2$ が独立ならば， $X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^{\, 2} + \sigma_2^{\, 2})$ となる．

再生成を持つことの証明

独立な二つの確率変数 $X_1$ , $X_2$ を考える． $X_1 \sim N(\mu_1, \sigma_1^{\, 2})$ ， $X_2 \sim N(\mu_2, \sigma_2^{\, 2})$ にそれぞれ従うとき， $X_1 + X_2$ の積率母関数を計算する．この時，積率母関数が同じ形になっていることを示す．

\begin{align*} M_{X_1+X_2} &= E[e^{t(X_1 + X_2)}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}]E[e^{tX_2}] \\ &= \exp\left(\mu_1 t + \frac{1}{2} \sigma_1^{\, 2}t^2 \right) \cdot \exp\left(\mu_2 t + \frac{1}{2} \sigma_2^{\, 2}t^2 \right) \\ &= \exp\left((\mu_1+\mu_2)t + \frac{1}{2} (\sigma_1^{\, 2} + \sigma_2^{\, 2})t^2 \right) \end{align*}

指数分布

ある期間（単位時間）あたりに平均して $\lambda$ ( $\lambda > 0$ ) 回起こる現象が，次に起こるまでの期間を $X$ とする．^[5]このとき $X$ の従う分布を指数分布といい，確率密度関数は

\begin{equation*} f(x) = \left\{ \begin{gathered} \lambda e^{-\lambda x} &(x > 0)\\ 0 &(x \leq 0) \end{gathered} \right. \end{equation*}

となり， $Exp(\lambda)$ で表す．ランダムなイベントの発生間隔を表す分布であり，例えば「地震が起きる間隔」や「電球の寿命」は（おおよそ）指数分布に従うと言われている．

$X \sim Exp(\lambda)$ の累積分布関数は，

\begin{align} F(x) = P(X \leq x) = 1 - e^{-\lambda x}, \quad x > 0 \end{align}

と明示的に書ける．

(11)の証明

累積分布関数の定義から求める

\begin{align*} F(x) &= P(X \leq x) \\ &= \int_{-\infty}^{x} f(t) \, dt \\ &= \int_{0}^{x} \lambda e^{-\lambda t} \, dt \\ &= \int_{0}^{x} (-e^{-\lambda t})^\prime \, dt \\ &= \left[-e^{-\lambda t}\right]_{0}^{x} \\ &= -e^{-\lambda x} - (-e^0) \\ &= 1 - e^{-\lambda x} \end{align*}

他の分布との関連を以下の表にまとめる．

分布一覧	指数分布との関係
ポアソン分布	ポアソン分布はある期間に起こる回数に関する分布であり，指数分布は次に起こるまでの期間に関する分布である．
幾何分布	幾何分布は，指数分布の離散バージョンである．
ガンマ分布	ガンマ分布は指数分布の一般化であり，指数分布はガンマ分布のパラメータ形状母数 $\alpha$ を $1$ としたもの．

$X \sim Exp(\lambda)$ のとき，平均と分散は

\begin{align} E[X] &= \frac{1}{\lambda} \\ V[X] &= \frac{1}{\lambda^2} \end{align}

となる．

(12)の証明

期待値の定義から求める

\begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{0}^{\infty} x \cdot \lambda e^{-\lambda x} \, dx \\ &= \int_{0}^{\infty} x \cdot (-e^{-\lambda x})^\prime \, dx \\ &= \left[x(-e^{-\lambda x}) \right]_{0}^{\infty} - \int_{0}^{\infty} -e^{-\lambda x} \, dx \\ &= \left[-e^{-\lambda x}x \right]_{0}^{\infty} + \frac{1}{\lambda} \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx \\ &= 0 - 0 + \frac{1}{\lambda} \quad(\because \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx = 1) \\ &= \frac{1}{\lambda} \end{align*}

(13)の証明

$E[X^2]$ を求め，式(9) $V[X] = E[X^2] - (E[X])^2$ より求める

\begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\ &= \int_{0}^{\infty} x^2 \cdot \lambda e^{-\lambda x} \, dx \\ &= \int_{0}^{\infty} x^2 \cdot (-e^{-\lambda x})^\prime \, dx \\ &= \left[x^2(-e^{-\lambda x}) \right]_{0}^{\infty} - \int_{0}^{\infty} -2xe^{-\lambda x} \, dx \\ &= \left[-e^{-\lambda x}x^2 \right]_{0}^{\infty} - \int_{0}^{\infty} \frac{2x}{\lambda} \cdot (e^{-\lambda x})^\prime \, dx \\ &= 0 - 0 - \left[\frac{2x}{\lambda}(-e^{-\lambda x}) \right]_{0}^{\infty} + \int_{0}^{\infty} \frac{2}{\lambda} \cdot e^{-\lambda x} \, dx \\ &= - (0 - 0) + \frac{2}{\lambda^2} \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx \\ &= \frac{2}{\lambda^2} \quad(\because \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx = 1) \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 \\ &= \frac{1}{\lambda^2} \end{align*}

また，積率母関数は以下のようになる．

\begin{align} M(t) = \frac{\lambda}{\lambda - t} = \left(1 - \frac{1}{\lambda}t\right)^{-1}, \quad t < \lambda \end{align}

積率母関数を使った期待値と分散の計算

E[X]=M′(0)E[X] = M^\prime(0)E[X]=M′(0) を用いて期待値を求める．
E[X]=M′(0)={(1−1λt)−1}′∣t=0={−1(1−1λt)−2⋅−1λ}∣t=0={(1−1λ⋅0)−2⋅1λ}=1λ
\begin{align*}
    E[X] &= M^\prime(0) \\
    &= \left.\left\{\left(1 - \frac{1}{\lambda}t\right)^{-1} \right\}^\prime\right|_{t=0} \\
    &= \left.\left\{-1 \left(1 - \frac{1}{\lambda}t\right)^{-2} \cdot -\frac{1}{\lambda} \right\}\right|_{t=0} \\
    &= \left\{\left(1 - \frac{1}{\lambda} \cdot 0\right)^{-2} \cdot \frac{1}{\lambda} \right\} \\
    &= \frac{1}{\lambda}
\end{align*}
E[X]​=M′(0)={(1−λ1​t)−1}′​t=0​={−1(1−λ1​t)−2⋅−λ1​}​t=0​={(1−λ1​⋅0)−2⋅λ1​}=λ1​​E[X2]=M′′(0)E[X^2] = M^{\prime\prime}(0)E[X2]=M′′(0) を用いて分散を求める．
E[X2]=M′′(0)={(1−1λt)−1}′′∣t=0={2(1−1λt)−3⋅(−1λ)2}∣t=0={2(1−1λ⋅0)−3⋅(−1λ)2}=2λ2∴V[X]=E[X2]−(E[X])2=2λ2−(1λ)2=1λ2
\begin{align*}
    E[X^2] &= M^{\prime\prime}(0) \\
    &= \left.\left\{\left(1 - \frac{1}{\lambda}t\right)^{-1} \right\}^{\prime\prime}\right|_{t=0} \\
    &= \left.\left\{2 \left(1 - \frac{1}{\lambda}t\right)^{-3} \cdot \left(-\frac{1}{\lambda}\right)^2\right\}\right|_{t=0} \\
    &= \left\{2 \left(1 - \frac{1}{\lambda} \cdot 0\right)^{-3} \cdot \left(-\frac{1}{\lambda}\right)^2\right\} \\
    &= \frac{2}{\lambda^2} \\
    \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 \\
    &= \frac{1}{\lambda^2}
\end{align*}
E[X2]∴V[X]​=M′′(0)={(1−λ1​t)−1}′′​t=0​={2(1−λ1​t)−3⋅(−λ1​)2}​t=0​={2(1−λ1​⋅0)−3⋅(−λ1​)2}=λ22​=E[X2]−(E[X])2=λ22​−(λ1​)2=λ21​​

(14)の証明

積率母関数の定義より求める．

\begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{0}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{0}^{\infty} e^{tx} \lambda e^{-\lambda x} \, dx \\ &= \int_{0}^{\infty} \lambda e^{(-\lambda + t)x} \, dx \\ &= \int_{0}^{\infty} \lambda \cdot \frac{\lambda - t}{\lambda - t} e^{-(\lambda - t)x} \, dx \\ &= \frac{\lambda}{\lambda - t} \int_{0}^{\infty} (\lambda - t) e^{-(\lambda - t)x} \, dx \\ &= \frac{\lambda}{\lambda - t} \quad(\because \int_{0}^{\infty} (\lambda - t) e^{-(\lambda - t)x} \, dx = 1) \\ &= \left(1 - \frac{1}{\lambda}t\right)^{-1} \end{align*}

さらに，指数分布の無記憶性と呼ばれる性質として， $X \sim Exp(\lambda)$ のとき

\begin{align} P(X \geq t_1 + t_2 | X \geq t_1) = P(X \geq t_2), \quad t_1, t_2 \geq 0 \end{align}

が成り立つ．

(15)の証明

$t\geq0$ に対して $P(X \geq t) = 1 - F(t) = e^{-\lambda t}$ となるため， $t_1, t_2 \geq 0$ に対して $P(X \geq t_1 + t_2 | X \geq t_1) = e^{-\lambda(t_1 + t_2)} / e^{-\lambda t_1} = e^{-\lambda t_2} = P(X \geq t_2)$ となることからわかる．

ガンマ分布

ある期間 $\beta$ ごとに平均して $1$ 回起こる現象が， $\alpha$ 回起きるまでの期間（時間）を $X$ とする．このとき $X$ の従う分布を，形状母数 $\alpha$ ，尺度母数 $\beta$ の ガンマ分布といい，確率密度関数は

\begin{equation*} f(x) = \left\{ \begin{gathered} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} &(x > 0)\\ 0 &(x \leq 0) \end{gathered} \right. \end{equation*}

となり， $Ga(\alpha, \beta)$ で表す．ここで， $\Gamma(\alpha)$ はガンマ関数

\begin{align} \Gamma(\alpha) \coloneqq \int_{0}^{\infty} x^{\alpha-1} e^{-x} \, dx, \quad \alpha > 0 \end{align}

を表す．特に $\alpha = 1$ の場合のガンマ分布 $Ga(1, \beta)$ は， $\lambda = 1/\beta$ とした指数分布 $Exp(1/\beta)$ である．^[6]

α=1 の場合のガンマ分布が指数分布になることの証明

ガンマ分布の確率密度関数の形状母数 α\alphaα に 111 を代入して求める[7]
f(x)=1Γ(1)β1x1−1e−xβ=10!βx0e−xβ(∵Γ(1)=(1−1)!=0!)=1βe−xβ
\begin{align*}
    f(x) &= \frac{1}{\Gamma(1)\beta^1} x^{1 - 1} e^{-\frac{x}{\beta}} \\
    &= \frac{1}{0!\beta} x^0 e^{-\frac{x}{\beta}} \quad(\because \Gamma(1) = (1-1)! = 0!) \\
    &= \frac{1}{\beta} e^{-\frac{x}{\beta}}
\end{align*}
f(x)​=Γ(1)β11​x1−1e−βx​=0!β1​x0e−βx​(∵Γ(1)=(1−1)!=0!)=β1​e−βx​​この式は，パラメータ 1/β1/\beta1/β である指数分布の確率密度関数に一致する．

ガンマ分布が確率密度関数になることの証明

全確率が 111 になることを示す
∫0∞f(x) dx=∫0∞1Γ(α)βαxα−1e−xβ dx=1Γ(α)βα∫0∞xα−1e−xβ dx
\begin{align*}
    \int_{0}^{\infty} f(x) \, dx &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\
    &= \frac{1}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx
\end{align*}
∫0∞​f(x)dx​=∫0∞​Γ(α)βα1​xα−1e−βx​dx=Γ(α)βα1​∫0∞​xα−1e−βx​dx​ここで，xβ=t\frac{x}{\beta} = tβx​=t という置換積分を行う．

すると，dx=βdtdx = \beta dtdx=βdt となるので，次のように変形できる．
=1Γ(α)βα∫0∞(βt)α−1e−t(βdt)=βαΓ(α)βα∫0∞tα−1e−t dt=βαΓ(α)βα⋅Γ(α)(∵(29))=1
\begin{align*}
&= \frac{1}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} (\beta t)^{\alpha-1} e^{-t} (\beta dt) \\
&= \frac{\beta^{\alpha}}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} t^{\alpha-1} e^{-t} \, dt \\
&= \frac{\beta^{\alpha}}{\Gamma(\alpha)\beta^{\alpha}} \cdot \Gamma(\alpha) \quad(\because (29)) \\
&= 1
\end{align*}
​=Γ(α)βα1​∫0∞​(βt)α−1e−t(βdt)=Γ(α)βαβα​∫0∞​tα−1e−tdt=Γ(α)βαβα​⋅Γ(α)(∵(29))=1​

$X \sim Ga(\alpha, \beta)$ のとき，平均と分散は

\begin{align} E[X] &= \alpha\beta \\ V[X] &= \alpha\beta^2 \end{align}

となる．

(17)の証明

①期待値の定義から求める
E[X]=∫−∞∞xf(x) dx=∫0∞x⋅1Γ(α)βαxα−1e−xβ dx=∫0∞1Γ(α)βαx(α+1)−1e−xβ dx=∫0∞αβ1αΓ(α)βα+1x(α+1)−1e−xβ dx=αβ∫0∞1Γ(α+1)βα+1x(α+1)−1e−xβ dx(∵Γ(α+1)=αΓ(α))=αβ(∵∫0∞1Γ(α+1)βα+1x(α+1)−1e−xβ dx=1)
\begin{align*}
    E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
    &= \int_{0}^{\infty} x \cdot \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\
    &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \\
    &= \int_{0}^{\infty} \alpha\beta\frac{1}{\alpha\Gamma(\alpha)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \\
    &= \alpha\beta \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+1)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \quad(\because \Gamma(\alpha+1) = \alpha\Gamma(\alpha)) \\
    &= \alpha\beta \quad\left(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+1)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx = 1\right)
\end{align*}
E[X]​=∫−∞∞​xf(x)dx=∫0∞​x⋅Γ(α)βα1​xα−1e−βx​dx=∫0∞​Γ(α)βα1​x(α+1)−1e−βx​dx=∫0∞​αβαΓ(α)βα+11​x(α+1)−1e−βx​dx=αβ∫0∞​Γ(α+1)βα+11​x(α+1)−1e−βx​dx(∵Γ(α+1)=αΓ(α))=αβ(∵∫0∞​Γ(α+1)βα+11​x(α+1)−1e−βx​dx=1)​②指数分布から考える

X1,X2,…,XnX_1, X_2, \dots, X_nX1​,X2​,…,Xn​ が互いに独立に指数分布 Exp(λ)Exp(\lambda)Exp(λ) に従う時，Y=X1+X2+⋯+XnY = X_1 + X_2 + \cdots + X_nY=X1​+X2​+⋯+Xn​ がパラメータが (n,1/λ)(n, 1/\lambda)(n,1/λ) のガンマ分布に従うので，
E[Y]=E[X1+X2+⋯+Xn]=E[X1]+E[X2]+⋯+E[Xn]=nE[X1]=nλ(∵指数分布の期待値は1/λ)=αβ(∵n=α,1/λ=βと置き換えた)
\begin{align*}
    E[Y] &= E[X_1 + X_2 + \cdots + X_n] \\
    &= E[X_1] + E[X_2] + \cdots + E[X_n] \\
    &= nE[X_1] \\
    &= \frac{n}{\lambda}  \quad(\because 指数分布の期待値は 1/\lambda) \\
    &= \alpha\beta \quad(\because n=\alpha, 1/\lambda = \betaと置き換えた)
\end{align*}
E[Y]​=E[X1​+X2​+⋯+Xn​]=E[X1​]+E[X2​]+⋯+E[Xn​]=nE[X1​]=λn​(∵指数分布の期待値は1/λ)=αβ(∵n=α,1/λ=βと置き換えた)​

(18)の証明

① E[X2]E[X^2]E[X2] を求め，式(9) V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2V[X]=E[X2]−(E[X])2 より求める
E[X2]=∫−∞∞x2f(x) dx=∫0∞x2⋅1Γ(α)βαxα−1e−xβ dx=∫0∞1Γ(α)βαx(α+2)−1e−xβ dx=∫0∞(α+1)αβ21(α+1)αΓ(α)βα+2x(α+2)−1e−xβ dx=(α+1)αβ2∫0∞1Γ(α+2)βα+2x(α+2)−1e−xβ dx(∵Γ(α+2)=(α+1)Γ(α+1)=(α+1)αΓ(α))=(α+1)αβ2(∵∫0∞1Γ(α+2)βα+2x(α+2)−1e−xβ dx=1)∴V[X]=E[X2]−(E[X])2=(α+1)αβ2−(αβ)2=αβ2
\begin{align*}
    E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\
    &= \int_{0}^{\infty} x^2 \cdot \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\
    &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \\
    &= \int_{0}^{\infty} (\alpha+1)\alpha\beta^2 \frac{1}{(\alpha+1)\alpha\Gamma(\alpha)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \\
    &= (\alpha+1)\alpha\beta^2 \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+2)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \quad(\because \Gamma(\alpha+2) = (\alpha+1)\Gamma(\alpha+1) = (\alpha+1)\alpha\Gamma(\alpha)) \\
    &= (\alpha+1)\alpha\beta^2 \quad\left(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+2)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx = 1 \right) \\
    \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= (\alpha+1)\alpha\beta^2 - (\alpha\beta)^2 \\
    &= \alpha\beta^2
\end{align*}
E[X2]∴V[X]​=∫−∞∞​x2f(x)dx=∫0∞​x2⋅Γ(α)βα1​xα−1e−βx​dx=∫0∞​Γ(α)βα1​x(α+2)−1e−βx​dx=∫0∞​(α+1)αβ2(α+1)αΓ(α)βα+21​x(α+2)−1e−βx​dx=(α+1)αβ2∫0∞​Γ(α+2)βα+21​x(α+2)−1e−βx​dx(∵Γ(α+2)=(α+1)Γ(α+1)=(α+1)αΓ(α))=(α+1)αβ2(∵∫0∞​Γ(α+2)βα+21​x(α+2)−1e−βx​dx=1)=E[X2]−(E[X])2=(α+1)αβ2−(αβ)2=αβ2​②指数分布から考える

X1,X2,…,XnX_1, X_2, \dots, X_nX1​,X2​,…,Xn​ が互いに独立にの指数分布 Exp(λ)Exp(\lambda)Exp(λ) に従う時，Y=X1+X2+⋯+XnY = X_1 + X_2 + \cdots + X_nY=X1​+X2​+⋯+Xn​ がパラメータが (n,1/λ)(n, 1/\lambda)(n,1/λ) のガンマ分布に従うので，
V[Y]=V[X1+X2+⋯+Xn]=V[X1]+V[X2]+⋯+V[Xn](∵X1,X2,…,Xnは独立)=nV[X1]=n1λ2(∵指数分布の分散は1/λ2)=αβ2(∵n=α,1/λ=βと置き換えた)
\begin{align*}
    V[Y] &= V[X_1 + X_2 + \cdots + X_n] \\
    &= V[X_1] + V[X_2] + \cdots + V[X_n] \quad(\because X_1, X_2, \dots, X_nは独立) \\
    &= nV[X_1] \\
    &= n\frac{1}{\lambda^2} \quad(\because 指数分布の分散は 1/\lambda^2) \\
    &= \alpha\beta^2 \quad(\because n=\alpha, 1/\lambda = \betaと置き換えた)
\end{align*}
V[Y]​=V[X1​+X2​+⋯+Xn​]=V[X1​]+V[X2​]+⋯+V[Xn​](∵X1​,X2​,…,Xn​は独立)=nV[X1​]=nλ21​(∵指数分布の分散は1/λ2)=αβ2(∵n=α,1/λ=βと置き換えた)​

また，積率母関数は以下のようになる．

\begin{align} M(t) = (1 - \beta t)^{-\alpha}, \quad t < \frac{1}{\beta} \end{align}

積率母関数を使った期待値と分散の計算

E[X]=M′(0)E[X]=M^\prime(0)E[X]=M′(0) を用いて期待値を求める．
E[X]=M′(0)={(1−βt)−α}′∣t=0={(−α)(1−βt)−α−1⋅(−β)}′∣t=0={αβ(1−βt)−α−1}′∣t=0=αβ
\begin{align*}
    E[X] &= M^\prime(0) \\
    &= \left.\left\{(1 - \beta t)^{-\alpha} \right\}^{\prime}\right|_{t=0} \\
    &= \left.\left\{(-\alpha)(1 - \beta t)^{-\alpha-1} \cdot (-\beta) \right\}^{\prime}\right|_{t=0} \\
    &= \left.\left\{\alpha\beta (1 - \beta t)^{-\alpha-1} \right\}^{\prime}\right|_{t=0} \\
    &= \alpha\beta
\end{align*}
E[X]​=M′(0)={(1−βt)−α}′​t=0​={(−α)(1−βt)−α−1⋅(−β)}′​t=0​={αβ(1−βt)−α−1}′​t=0​=αβ​E[X2]=M′′(0)E[X^2]=M^{\prime\prime}(0)E[X2]=M′′(0) を用いて期待値を求める．
E[X2]=M′′(0)={(1−βt)−α}′′∣t=0={αβ(−α−1)(1−βt)−α−2⋅(−β)}′′∣t=0={α(α+1)β2(1−βt)−α−2}′′∣t=0=α(α+1)β2∴V[X]=E[X2]−(E[X])2=α(α+1)β2−(αβ)2=αβ2
\begin{align*}
    E[X^2] &= M^{\prime\prime}(0) \\
    &= \left.\left\{(1 - \beta t)^{-\alpha} \right\}^{\prime\prime}\right|_{t=0} \\
    &= \left.\left\{\alpha\beta(-\alpha-1)(1 - \beta t)^{-\alpha-2} \cdot (-\beta) \right\}^{\prime\prime}\right|_{t=0} \\
    &= \left.\left\{\alpha(\alpha+1)\beta^2 (1 - \beta t)^{-\alpha-2} \right\}^{\prime\prime}\right|_{t=0} \\
    &= \alpha(\alpha+1)\beta^2 \\
    \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= \alpha(\alpha+1)\beta^2 - (\alpha\beta)^2 \\
    &= \alpha\beta^2
\end{align*}
E[X2]∴V[X]​=M′′(0)={(1−βt)−α}′′​t=0​={αβ(−α−1)(1−βt)−α−2⋅(−β)}′′​t=0​={α(α+1)β2(1−βt)−α−2}′′​t=0​=α(α+1)β2=E[X2]−(E[X])2=α(α+1)β2−(αβ)2=αβ2​

(19)の証明

積率母関数の定義より求める．

\begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{0}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{0}^{\infty} e^{tx} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\ &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} \, dx \\ &= (1- \beta t)^{-\alpha} \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\left(\frac{\beta}{1-\beta t}\right)^\alpha} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} \, dx \\ &= (1- \beta t)^{-\alpha} \quad(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\left(\frac{\beta}{1-\beta t}\right)^\alpha} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} = 1) \end{align*}

さらに，ガンマ分布には，再生性とよばれる次の性質がある． $X_1 \sim Ga(\alpha_1, \beta)$ ， $X_1 \sim Ga(\alpha_2, \beta)$ で， $X_1$ と $X_2$ が独立ならば， $X_1 + X_2 \sim Ga(\alpha_1 + \alpha_2, \beta)$ となる．

再生成を持つことの証明

独立な二つの確率変数 $X_1$ , $X_2$ を考える． $X_1 \sim Ga(\alpha_1, \beta)$ ， $X_1 \sim Ga(\alpha_2, \beta)$ にそれぞれ従うとき， $X_1 + X_2$ の積率母関数を計算する．^[8]この時，積率母関数が同じ形になっていることを示す．

\begin{align*} M_{X_1+X_2} &= E[e^{t(X_1 + X_2)}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}]E[e^{tX_2}] \\ &= (1 - \beta t)^{-\alpha_1} (1 - \beta t)^{-\alpha_2} \\ &= (1 - \beta t)^{-(\alpha_1+\alpha_2)} \end{align*}

ベータ分布

ある試行について，成功数が $m$ 回，失敗回数が $n$ 回としたときに，成功する確率を $X$ とする．このとき区間 $(0, 1)$ の $X$ の従う分布を，パラメータ $(\alpha, \beta) = (m+1, n+1)$ の ベータ分布といい，確率密度関数は

f(x) = \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}, \quad 0 < x < 1

となり， $Be(\alpha, \beta)$ で表す．ここで， $B(\alpha, \beta)$ はベータ関数

B(\alpha, \beta) \coloneqq \int_{0}^{1} x^{\alpha-1} (1-x)^{\beta-1} \, dx, \quad \alpha>0, \beta>0

を表す．ベータ分布はガンマ分布から得ることができる．

ガンマ分布からベータ分布を導けることの証明

2つの独立な確率変数 X1∼Ga(α1,β)X_1 \sim Ga(\alpha_1, \beta)X1​∼Ga(α1​,β)，X2∼Ga(α2,β)X_2 \sim Ga(\alpha_2, \beta)X2​∼Ga(α2​,β) に対し， U=X1/(X1+X2)U = X_1 / (X_1+X_2)U=X1​/(X1​+X2​) の従う分布を求める
!(X,Y)(X, Y)(X,Y) を確率変数とし，S=g1(X,Y)S = g_1(X, Y)S=g1​(X,Y), T=g2(X,Y)T = g_2(X, Y)T=g2​(X,Y) なる変数変換を考え (S,T)(S, T)(S,T) の同時確率（密度）関数を求める方法は，

s,t→x,ys, t \rightarrow x, ys,t→x,y の逆変換を考える
ヤコビアン J((s,t)→(x,y))J((s, t) \rightarrow (x, y))J((s,t)→(x,y)) を求める

X,YX, YX,Y の同時確率（密度）関数 fX,Y(x,y)f_{X, Y}(x, y)fX,Y​(x,y)， X=h1(S,T)X = h_1(S, T)X=h1​(S,T)，Y=h1(S,T)Y = h_1(S, T)Y=h1​(S,T) を使って fS,T(s,t)=fX,Y(h1(s,t),h2(s,t))∣J(s,t)∣f_{S, T}(s, t) = f_{X, Y}(h_1(s, t), h_2(s, t))|J(s, t)|fS,T​(s,t)=fX,Y​(h1​(s,t),h2​(s,t))∣J(s,t)∣ を求める
U=X1/(X1+X2)U = X_1 / (X_1+X_2)U=X1​/(X1​+X2​)，V=X1+X2V = X_1 + X_2V=X1​+X2​ の変数変換を考えると，逆変換は
{u=x1x1+x2v=x1+x2⇔{x1=uvx2=(1−u)v
\begin{equation*}
  \left\{
  \begin{aligned}
    & u = \frac{x_1}{x_1 + x_2} \\
    & v = x_1 + x_2
  \end{aligned}
  \right. \\
  \\
  \Leftrightarrow \left\{
  \begin{aligned}
    & x_1 = uv \\
    & x_2 = (1 - u)v
  \end{aligned}
  \right. \\
\end{equation*}
⎩⎨⎧​​u=x1​+x2​x1​​v=x1​+x2​​⇔{​x1​=uvx2​=(1−u)v​​となり，ヤコビアンは
J((u,v)→(x1,x2))=det(∂x1∂u∂x1∂v∂x2∂u∂x2∂v)=det(vu−v1−u)=v(1−u)−u(−v)=v
J((u, v) \rightarrow (x_1, x_2)) = det \begin{pmatrix} \frac{\partial x_1}{\partial u} & \frac{\partial x_1}{\partial v} \\ \frac{\partial x_2}{\partial u} & \frac{\partial x_2}{\partial v} \end{pmatrix} = det \begin{pmatrix} v & u \\ -v & 1 - u \end{pmatrix} = v(1 - u) - u(-v) = v
J((u,v)→(x1​,x2​))=det(∂u∂x1​​∂u∂x2​​​∂v∂x1​​∂v∂x2​​​)=det(v−v​u1−u​)=v(1−u)−u(−v)=vとなる．したがって，(U,V)(U, V)(U,V) の同時確率密度関数は
fU,V(u,v)=fX1(uv)fX2((1−u)v)z=(1Γ(α1)βα1(uv)α1−1e−uvβ)(1Γ(α2)βα2{(1−u)v}α2−1e−(1−u)vβ)v=(Γ(α1+α2)Γ(α1)Γ(α2)uα1−1(1−u)α2)(1Γ(α1+α2)βα1+α2v(α1+α2)−1e−vβ)=(1B(α1,α2)uα1−1(1−u)α2)(1Γ(α1+α2)βα1+α2v(α1+α2)−1e−vβ)(∵ベータ関数の定義)=f(u)f(v)
\begin{align*}
    f_{U, V}(u, v) &= f_{X_1}(uv) f_{X_2}((1 - u)v)z \\
    &= \left( \frac{1}{\Gamma(\alpha_1)\beta^{\alpha_1}} (uv)^{\alpha_1 - 1} e^{-\frac{uv}{\beta}} \right) \left( \frac{1}{\Gamma(\alpha_2)\beta^{\alpha_2}} \{(1-u)v\}^{\alpha_2 - 1} e^{-\frac{(1-u)v}{\beta}} \right) v \\
    &= \left( \frac{\Gamma(\alpha_1 + \alpha_2)}{\Gamma(\alpha_1)\Gamma(\alpha_2)} u^{\alpha_1 - 1} (1 - u)^{\alpha_2} \right) \left( \frac{1}{\Gamma(\alpha_1 + \alpha_2) \beta^{\alpha_1 + \alpha_2}} v^{(\alpha_1 + \alpha_2) - 1} e^{-\frac{v}{\beta}} \right) \\
    &= \left( \frac{1}{B(\alpha_1, \alpha2)} u^{\alpha_1 - 1} (1 - u)^{\alpha_2} \right) \left( \frac{1}{\Gamma(\alpha_1 + \alpha_2) \beta^{\alpha_1 + \alpha_2}} v^{(\alpha_1 + \alpha_2) - 1} e^{-\frac{v}{\beta}} \right) \quad(\because ベータ関数の定義) \\
    &= f(u)f(v)
\end{align*}
fU,V​(u,v)​=fX1​​(uv)fX2​​((1−u)v)z=(Γ(α1​)βα1​1​(uv)α1​−1e−βuv​)(Γ(α2​)βα2​1​{(1−u)v}α2​−1e−β(1−u)v​)v=(Γ(α1​)Γ(α2​)Γ(α1​+α2​)​uα1​−1(1−u)α2​)(Γ(α1​+α2​)βα1​+α2​1​v(α1​+α2​)−1e−βv​)=(B(α1​,α2)1​uα1​−1(1−u)α2​)(Γ(α1​+α2​)βα1​+α2​1​v(α1​+α2​)−1e−βv​)(∵ベータ関数の定義)=f(u)f(v)​となることから，UUU は Be(α1,α2)Be(\alpha_1, \alpha_2)Be(α1​,α2​) に従うことが示された．

$X \sim Be(\alpha, \beta)$ のとき，平均と分散は

\begin{align} E[X] &= \frac{\alpha}{\alpha + \beta} \\ V[X] &= \frac{\alpha\beta}{(\alpha+\beta)^2 (\alpha+\beta+1)} \end{align}

(20)の証明

期待値の定義から求める

\begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{0}^{1} x \cdot \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \int_{0}^{1} x^{(\alpha+1)-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \cdot B(\alpha+1, \beta) \quad(\because ベータ関数の定義) \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta + 1)} \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta) \Gamma(\alpha+\beta)} \\ &= \frac{\alpha}{\alpha + \beta} \end{align*}

(21)の証明

$E[X^2]$ を求め，式(9) $V[X] = E[X^2] - (E[X])^2$ より求める

\begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\ &= \int_{0}^{1} x^2 \cdot \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \int_{0}^{1} x^{(\alpha+2)-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \cdot B(\alpha+2, \beta) \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\Gamma(\alpha+2)\Gamma(\beta)}{\Gamma(\alpha+\beta + 2)} \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{(\alpha+1)\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta+1)(\alpha+\beta)\Gamma(\alpha+\beta)} \\ &= \frac{(\alpha+2)(\alpha+1)}{(\alpha+\beta+1)(\alpha+\beta)} \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{(\alpha+1)\alpha}{(\alpha+\beta+1)(\alpha+\beta)} - \left(\frac{\alpha}{\alpha + \beta}\right)^2 \\ &= \frac{(\alpha+1)\alpha(\alpha+\beta)}{(\alpha+\beta)^2(\alpha+\beta+1)} - \frac{\alpha^2(\alpha+\beta+1)}{(\alpha+\beta)^2(\alpha+\beta+1)} \\ &= \frac{\alpha\{(\alpha^2 + \alpha\beta + \alpha + \beta) - (\alpha^2 + \alpha\beta + \alpha)\}}{(\alpha+\beta)^2(\alpha+\beta+1)} \\ &= \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \end{align*}

標準コーシー分布

標準コーシー分布は裾が重い分布であり，平均やより高次のモーメントが存在しない．確率密度関数は

\begin{align} f(x) = \frac{1}{\pi(1+x^2)} \end{align}

となり，原点に関して対称ではあるが， $0$ は平均ではない．

標準コーシー分布は一様分布から導けることの証明

確率変数XXX が区間 −π2<X<π2-\frac{\pi}{2} < X < \frac{\pi}{2}−2π​<X<2π​ において，一様分布に従うとき，Y=tan⁡XY = \tan XY=tanX の従う分布を求める
!XXX を確率変数とし，Y=g(X)Y = g(X)Y=g(X) なる単調増加（減少）である変数変換を考え YYY の確率（密度）関数を求める方法[9]は，

y→xy \to xy→x の逆変換を考える
逆変換をした式について，yyy の微分 ddyg−1(y)\frac{d}{dy}g^{-1}(y)dyd​g−1(y) を求める

XXX の確率密度関数 fX(x)f_X(x)fX​(x)，ddyg−1(y)\frac{d}{dy}g^{-1}(y)dyd​g−1(y) を使って fY(y)=fX(g−1(y))∣ddyg−1(y)∣f_Y(y) = f_X(g^{-1}(y)) |\frac{d}{dy}g^{-1}(y)|fY​(y)=fX​(g−1(y))∣dyd​g−1(y)∣
Y=tan⁡XY = \tan XY=tanX の変数変換を考えると，逆変換は
x=tan⁡−1(y)
x = \tan^{-1}(y)
x=tan−1(y)となり，これを yyy で微分すると，
ddyg−1(y)=11+y2
\frac{d}{dy}g^{-1}(y) = \frac{1}{1+y^2}
dyd​g−1(y)=1+y21​となる．また，fX(x)=1πf_X(x) = \frac{1}{\pi}fX​(x)=π1​ であるから，
fX(g−1(y))=1π
f_X(g^{-1}(y)) = \frac{1}{\pi}
fX​(g−1(y))=π1​となる．したがって，YYY の確率密度関数は
fY(y)=fX(g−1(y))∣ddyg−1(y)∣=1π⋅11+y2=1π(1+y2)
\begin{align*}
    f_Y(y) &= f_X(g^{-1}(y)) |\frac{d}{dy}g^{-1}(y)| \\
    &= \frac{1}{\pi} \cdot \frac{1}{1+y^2} \\
    &= \frac{1}{\pi(1+y^2)}
\end{align*}
fY​(y)​=fX​(g−1(y))∣dyd​g−1(y)∣=π1​⋅1+y21​=π(1+y2)1​​となることから，YYY は標準コーシー分布に従うことが示された．

標準コーシー分布は期待値を持たないことの証明

期待値の定義通りに計算し，確かめる
E[X]=∫−∞∞xf(x) dx=∫−∞∞x⋅1π(1+x2) dx=1π∫−∞∞(12log⁡(1+x2))′ dx=1π[12log⁡(1+x2)]−∞∞=1π{lim⁡b→∞12log⁡(1+b2)−lim⁡a→−∞12log⁡(1+a2)}=∞−∞
\begin{align*}
    E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
    &= \int_{-\infty}^{\infty} x \cdot \frac{1}{\pi(1+x^2)} \, dx \\
    &= \frac{1}{\pi} \int_{-\infty}^{\infty} \left(\frac{1}{2}\log(1+x^2) \right)^\prime \, dx \\
    &= \frac{1}{\pi} \left[\frac{1}{2}\log(1+x^2)\right]_{-\infty}^{\infty} \\
    &= \frac{1}{\pi} \left\{ \lim_{b\to\infty}\frac{1}{2}\log(1+b^2) - \lim_{a\to-\infty}\frac{1}{2}\log(1+a^2) \right\} \\
    &= \infty - \infty
\end{align*}
E[X]​=∫−∞∞​xf(x)dx=∫−∞∞​x⋅π(1+x2)1​dx=π1​∫−∞∞​(21​log(1+x2))′dx=π1​[21​log(1+x2)]−∞∞​=π1​{b→∞lim​21​log(1+b2)−a→−∞lim​21​log(1+a2)}=∞−∞​と計算され，積分が収束せずに定義されない．

より一般に，位置母数 $\mu$ と尺度母数 $\sigma > 0$ を導入し，式 $(35)$ の $f(x)$ に対して

\begin{align} \frac{1}{\sigma}f(\frac{x-\mu}{\sigma}) = \frac{1}{\pi\sigma\left(1 + (\frac{x-\mu}{\sigma})^{2}\right)} \end{align}

を確率密度関数とする分布を一般にコーシー分布という．

対数正規分布

$Y \sim N(\mu, \sigma^2)$ のとき， $X = e^Y(>0)$ は，確率密度関数

\begin{align} f(x) = \frac{1}{\sqrt{2\pi}\sigma x} exp(-\frac{(\log x - \mu)^2}{2\sigma^2}), \quad x > 0 \end{align}

をもつ分布に従う．この確率密度関数をもつ分布を対数正規分布といい， $\Lambda(\mu, \sigma^2)$ で表す． $X \sim \Lambda(\mu, \sigma^2)$ のとき， $\log X \sim N(\mu, \sigma^2)$ である．

対数正規分布の導出

$X \sim N(\mu, \sigma^2)$ とし，正規分布の確率密度関数 $f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]$ を用いて，対数正規分布の確率密度関数を導出する．

\begin{align*} F_Z(z) &= P(Z \leq z) \\ \\ &ここで， Z = e^X の変数変換を考えると \\ &= P(e^X\leq z) \\ &= P(X \leq \log z) \\ &= F_X(\log z) \\ \\ &ここで，確率密度関数と累積分布関数の関係 f(x) = \frac{d}{dx} \int_{-\infty}^{x} f(t) \, dt を計算すれば良く \\ f_Z(z) &= \frac{d}{dz} F_X(\log z) \\ &= F_X^{\prime}(\log z) \times \frac{1}{z} \\ &= f_X(\log z) \times \frac{1}{z} \\ &= \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(\log z - \mu)^2}{2\sigma^2}\right] \times \frac{1}{z} \\ &= \frac{1}{\sqrt{2\pi}\sigma z} exp\left[-\frac{(\log z - \mu)^2}{2\sigma^2}\right] \end{align*}

$X \sim \Lambda(\mu, \sigma^2)$ のとき，平均と分散は

\begin{align} E[X] &= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \\ V[X] &= \exp(2\mu+\sigma^2)(\exp(\sigma^2)-1) \end{align}

(25)の証明

①期待値の定義から求める
E[X]=∫−∞∞xf(x) dx=∫0∞x⋅12πσxexp⁡[−(log⁡x−μ)22σ2] dx=∫0∞12πσexp⁡(−(log⁡x−μ)22σ2) dxここで，log⁡x−μ=tとおくと，xが0から∞へ動くときは，tは−∞から∞へ動くこと，また，x=et+μなので，dx=et+μdtであるからlog⁡x−μ=tの置換積分を行うと=∫−∞∞12πσexp[−t22σ2] et+μdt=exp⁡(μ)∫−∞∞12πσexp⁡[−t22σ2+t] dt=exp⁡(μ)∫−∞∞12πσexp⁡[−t−2σ22σ2] dt=exp⁡(μ)∫−∞∞12πσexp⁡[−(t−σ2)22σ2+σ42σ2] dt=exp⁡(μ)⋅exp⁡(σ42σ2)∫−∞∞12πσexp⁡[−(t−σ2)22σ2] dt=exp⁡(μ+12σ2)(∵∫−∞∞12πσexp[−(t−σ2)22σ2] dt=1)
\begin{align*}
    E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
    &= \int_{0}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma x} \exp\left[-\frac{(\log x - \mu)^2}{2\sigma^2}\right] \, dx \\
    &= \int_{0}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp(-\frac{(\log x - \mu)^2}{2\sigma^2}) \, dx \\
    \\
    &ここで，\log x - \mu = t とおくと，x が 0 から \infty へ動くときは，t は -\infty から \infty へ動くこと，\\
    &また，x = e^{t + \mu}なので，dx = e^{t + \mu} dtで あるから \log x - \mu = t の置換積分を行うと \\
    &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{t^2}{2\sigma^2}\right] \, e^{t + \mu} dt \\
    &= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2} + t \right] \, dt \\
    &= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t-2\sigma^2}{2\sigma^2}\right] \, dt \\
    &= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2} + \frac{\sigma^4}{2\sigma^2}\right] \, dt \\
    &= \exp(\mu) \cdot \exp\left(\frac{\sigma^4}{2\sigma^2}\right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2}\right] \, dt \\
    &= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \quad \left(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2}\right] \, dt = 1 \right)
\end{align*}
E[X]​=∫−∞∞​xf(x)dx=∫0∞​x⋅2π​σx1​exp[−2σ2(logx−μ)2​]dx=∫0∞​2π​σ1​exp(−2σ2(logx−μ)2​)dxここで，logx−μ=tとおくと，xが0から∞へ動くときは，tは−∞から∞へ動くこと，また，x=et+μなので，dx=et+μdtであるからlogx−μ=tの置換積分を行うと=∫−∞∞​2π​σ1​exp[−2σ2t2​]et+μdt=exp(μ)∫−∞∞​2π​σ1​exp[−2σ2t2​+t]dt=exp(μ)∫−∞∞​2π​σ1​exp[−2σ2t−2σ2​]dt=exp(μ)∫−∞∞​2π​σ1​exp[−2σ2(t−σ2)2​+2σ2σ4​]dt=exp(μ)⋅exp(2σ2σ4​)∫−∞∞​2π​σ1​exp[−2σ2(t−σ2)2​]dt=exp(μ+21​σ2)(∵∫−∞∞​2π​σ1​exp[−2σ2(t−σ2)2​]dt=1)​② YYY が正規分布に従うとき，eYe^YeY の期待値を計算する
E[eY]=∫−∞∞eyf(y) dy=∫−∞∞ey⋅12πσexp[−(y−μ)22σ2] dy=∫−∞∞12πσexp⁡[−(y−μ)22σ2+y] dy=∫−∞∞12πσexp⁡[−y2−2μy+μ2−2σ2y2σ2] dy=∫−∞∞12πσexp⁡[−{y−(μ+σ2)}2−(2μσ2+σ4)2σ2] dy=exp⁡[2μσ2+σ42σ2]∫−∞∞12πσexp⁡[−{y−(μ+σ2)}22σ2] dy=exp⁡(μ+12σ2)(∵∫−∞∞12πσexp⁡[−{y−(μ+σ2)}22σ2] dy=1)
\begin{align*}
    E[e^Y] &= \int_{-\infty}^{\infty} e^y f(y) \, dy \\
    &= \int_{-\infty}^{\infty} e^y \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\
    &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(y - \mu)^2}{2\sigma^2} + y \right] \, dy \\
    &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{y^2 - 2\mu y + \mu^2 - 2\sigma^2 y}{2\sigma^2} \right] \, dy \\
    &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2 - (2\mu \sigma^2 + \sigma^4)}{2\sigma^2} \right] \, dy \\
    &= \exp\left[\frac{2\mu \sigma^2 + \sigma^4}{2\sigma^2}\right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2}{2\sigma^2} \right] \, dy \\
    &= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \quad (\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2}{2\sigma^2} \right] \, dy = 1)
\end{align*}
E[eY]​=∫−∞∞​eyf(y)dy=∫−∞∞​ey⋅2π​σ1​exp[−2σ2(y−μ)2​]dy=∫−∞∞​2π​σ1​exp[−2σ2(y−μ)2​+y]dy=∫−∞∞​2π​σ1​exp[−2σ2y2−2μy+μ2−2σ2y​]dy=∫−∞∞​2π​σ1​exp[−2σ2{y−(μ+σ2)}2−(2μσ2+σ4)​]dy=exp[2σ22μσ2+σ4​]∫−∞∞​2π​σ1​exp[−2σ2{y−(μ+σ2)}2​]dy=exp(μ+21​σ2)(∵∫−∞∞​2π​σ1​exp[−2σ2{y−(μ+σ2)}2​]dy=1)​

(26)の証明

① E[X2]E[X^2]E[X2] を求め，式(9) V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2V[X]=E[X2]−(E[X])2 より求める
E[X2]=∫−∞∞x2f(x) dx=∫0∞x12πσexp(−(log⁡x−μ)22σ2) dxここで，log⁡x−μ=tとおくと，xが0から∞へ動くときは，tは−∞から∞へ動くこと，また，x=et+μなので，dx=et+μdtであり，log⁡x−μ=tの置換積分を行うと=∫−∞∞et+μ12πσexp⁡[−t22σ2] et+μdt=exp⁡(2μ)∫−∞∞12πσexp⁡[−t22σ2+2t] dt=exp⁡(2μ)∫−∞∞12πσexp⁡[−t2−4tσ22σ2] dt=exp⁡(2μ)∫−∞∞12πσexp⁡[−(t−2σ2)22σ2+4σ42σ2] dt=exp⁡(2μ)exp⁡(4σ42σ2)∫−∞∞12πσexp⁡[−(t−2σ2)22σ2] dt=exp⁡(2μ+2σ2)(∵∫−∞∞12πσexp⁡[−(t−2σ2)22σ2] dt=1)∴V[X]=E[X2]−(E[X])2=exp⁡(2μ+2σ2)−{exp⁡(μ+12σ2)}2=exp⁡(2μ+2σ2)−exp⁡(2μ+σ2)=exp⁡(2μ)exp⁡(σ2)exp⁡(σ2)−exp⁡(2μ)exp⁡(σ2)=exp⁡(2μ)exp⁡(σ2)(exp⁡(σ2)−1)=exp⁡(2μ+σ2)(exp⁡(σ2)−1)
\begin{align*}
    E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\
    &= \int_{0}^{\infty} x \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(\log x - \mu)^2}{2\sigma^2}) \, dx \\
    \\
    &ここで，\log x - \mu = t とおくと，x が 0 から \infty へ動くときは，t は -\infty から \infty へ動くこと，\\
    &また，x = e^{t + \mu}なので，dx = e^{t + \mu} dtで あり，\log x - \mu = t の置換積分を行うと \\
    &= \int_{-\infty}^{\infty} e^{t + \mu} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2}\right] \, e^{t + \mu} dt \\
    &= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2} + 2t \right] \, dt \\
    &= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2 - 4t\sigma^2}{2\sigma^2} \right] \, dt \\
    &= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} + \frac{4\sigma^4}{2\sigma^2} \right] \, dt \\
    &= \exp(2\mu) \exp\left(\frac{4\sigma^4}{2\sigma^2} \right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} \right] \, dt \\
    &= \exp\left(2\mu + 2\sigma^2 \right) \quad \left(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} \right] \, dt = 1 \right) \\
    \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\
    &= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\
    &= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\
    &= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\
    &= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1)
\end{align*}
E[X2]∴V[X]​=∫−∞∞​x2f(x)dx=∫0∞​x2π​σ1​exp(−2σ2(logx−μ)2​)dxここで，logx−μ=tとおくと，xが0から∞へ動くときは，tは−∞から∞へ動くこと，また，x=et+μなので，dx=et+μdtであり，logx−μ=tの置換積分を行うと=∫−∞∞​et+μ2π​σ1​exp[−2σ2t2​]et+μdt=exp(2μ)∫−∞∞​2π​σ1​exp[−2σ2t2​+2t]dt=exp(2μ)∫−∞∞​2π​σ1​exp[−2σ2t2−4tσ2​]dt=exp(2μ)∫−∞∞​2π​σ1​exp[−2σ2(t−2σ2)2​+2σ24σ4​]dt=exp(2μ)exp(2σ24σ4​)∫−∞∞​2π​σ1​exp[−2σ2(t−2σ2)2​]dt=exp(2μ+2σ2)(∵∫−∞∞​2π​σ1​exp[−2σ2(t−2σ2)2​]dt=1)=E[X2]−(E[X])2=exp(2μ+2σ2)−{exp(μ+21​σ2)}2=exp(2μ+2σ2)−exp(2μ+σ2)=exp(2μ)exp(σ2)exp(σ2)−exp(2μ)exp(σ2)=exp(2μ)exp(σ2)(exp(σ2)−1)=exp(2μ+σ2)(exp(σ2)−1)​② YYY が正規分布に従うとき，eYe^YeY の分散を計算する

E[X2]=E[X2Y]E[X^2] = E[X^{2Y}]E[X2]=E[X2Y] であるから，
E[e2Y]=∫−∞∞e2yf(y) dy=∫−∞∞e2y⋅12πσexp[−(y−μ)22σ2] dy=∫−∞∞12πσexp⁡[−(y−μ)22σ2+2y] dy=∫−∞∞12πσexp⁡[−y2−2μy+μ2−4σ2y2σ2] dy=∫−∞∞12πσexp⁡[−{y−(μ+2σ2)}2−(4μσ2+4σ4)2σ2] dy=exp⁡[4μσ2+4σ42σ2]12πσexp⁡[−{y−(μ+2σ2)}22σ2] dy=exp⁡(2μ+2σ2)(∵12πσexp⁡[−{y−(μ+2σ2)}22σ2] dy=1)∴V[X]=E[X2]−(E[X])2=exp⁡(2μ+2σ2)−{exp⁡(μ+12σ2)}2=exp⁡(2μ+2σ2)−exp⁡(2μ+σ2)=exp⁡(2μ)exp⁡(σ2)exp⁡(σ2)−exp⁡(2μ)exp⁡(σ2)=exp⁡(2μ)exp⁡(σ2)(exp⁡(σ2)−1)=exp⁡(2μ+σ2)(exp⁡(σ2)−1)
\begin{align*}
    E[e^{2Y}] &= \int_{-\infty}^{\infty} e^{2y} f(y) \, dy \\
    &= \int_{-\infty}^{\infty} e^{2y} \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\
    &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(y - \mu)^2}{2\sigma^2} + 2y \right] \, dy \\
    &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{y^2 - 2\mu y + \mu^2 - 4\sigma^2 y}{2\sigma^2} \right] \, dy \\
    &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2 - (4\mu\sigma^2 + 4\sigma^4)}{2\sigma^2} \right] \, dy \\
    &= \exp\left[\frac{4\mu\sigma^2 + 4\sigma^4}{2\sigma^2}\right] \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2}{2\sigma^2} \right] \, dy \\
    &= \exp(2\mu + 2\sigma^2) \quad(\because \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2}{2\sigma^2} \right] \, dy = 1) \\
    \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\
    &= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\
    &= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\
    &= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\
    &= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1)
\end{align*}
E[e2Y]∴V[X]​=∫−∞∞​e2yf(y)dy=∫−∞∞​e2y⋅2π​σ1​exp[−2σ2(y−μ)2​]dy=∫−∞∞​2π​σ1​exp[−2σ2(y−μ)2​+2y]dy=∫−∞∞​2π​σ1​exp[−2σ2y2−2μy+μ2−4σ2y​]dy=∫−∞∞​2π​σ1​exp[−2σ2{y−(μ+2σ2)}2−(4μσ2+4σ4)​]dy=exp[2σ24μσ2+4σ4​]2π​σ1​exp[−2σ2{y−(μ+2σ2)}2​]dy=exp(2μ+2σ2)(∵2π​σ1​exp[−2σ2{y−(μ+2σ2)}2​]dy=1)=E[X2]−(E[X])2=exp(2μ+2σ2)−{exp(μ+21​σ2)}2=exp(2μ+2σ2)−exp(2μ+σ2)=exp(2μ)exp(σ2)exp(σ2)−exp(2μ)exp(σ2)=exp(2μ)exp(σ2)(exp(σ2)−1)=exp(2μ+σ2)(exp(σ2)−1)​

正規分布の積率母関数を使った期待値と分散の計算

正規分布 N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2) に従う確率変数 YYY に対し，X=eYX = e^YX=eY に従う分布が対数正規分布であることから，YYY の積率母関数を用いて平均と分散を計算する．

YYY の積率母関数は
MY(t)=E[etY]=exp⁡(μt+σ2t22)
M_Y(t) = E[e^{tY}] = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)
MY​(t)=E[etY]=exp(μt+2σ2t2​)であることから，YYY を XXX で表すと
E[etlog⁡X]=E[elog⁡Xt]=E[Xt]=exp⁡(μt+σ2t22)
E[e^{t\log X}] = E[e^{\log X^t}] = E[X^t] = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)
E[etlogX]=E[elogXt]=E[Xt]=exp(μt+2σ2t2​)となり，対数正規分布の ttt 次モーメントが正規分布の積率母関数に対応していることがわかる．つまり，MY(t)M_Y(t)MY​(t) が XXX の ttt 次モーメントになる．


E[X]=M(1)E[X] = M(1)E[X]=M(1) を用いて期待値を求める．
E[X]=M(1)=exp⁡(μt+σ2t22)∣t=1=exp⁡(μ+12σ2)
\begin{align*}
    E[X] &= M(1) \\
    &= \left.\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\right|_{t=1} \\
    &= \exp\left(\mu + \frac{1}{2}\sigma^2\right)
\end{align*}
E[X]​=M(1)=exp(μt+2σ2t2​)​t=1​=exp(μ+21​σ2)​V[X]=E[X2]−(E[X])2=M(2)−(M(1))2V[X] = E[X^2] - (E[X])^2 = M(2) - (M(1))^2V[X]=E[X2]−(E[X])2=M(2)−(M(1))2 を用いて期待値を求める．
E[X2]=exp⁡(μt+σ2t22)∣t=2=exp⁡(2μ+2σ2)∴V[X]=E[X2]−(E[X])2=exp⁡(2μ+2σ2)−{exp⁡(μ+12σ2)}2=exp⁡(2μ+2σ2)−exp⁡(2μ+σ2)=exp⁡(2μ)exp⁡(σ2)exp⁡(σ2)−exp⁡(2μ)exp⁡(σ2)=exp⁡(2μ)exp⁡(σ2)(exp⁡(σ2)−1)=exp⁡(2μ+σ2)(exp⁡(σ2)−1)
\begin{align*}
    E[X^2] &= \left.\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\right|_{t=2} \\
    &= \exp(2\mu + 2\sigma^2) \\
    \\
    \therefore V[X] &= E[X^2] - (E[X])^2 \\
    &= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\
    &= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\
    &= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\
    &= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\
    &= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1)
\end{align*}
E[X2]∴V[X]​=exp(μt+2σ2t2​)​t=2​=exp(2μ+2σ2)=E[X2]−(E[X])2=exp(2μ+2σ2)−{exp(μ+21​σ2)}2=exp(2μ+2σ2)−exp(2μ+σ2)=exp(2μ)exp(σ2)exp(σ2)−exp(2μ)exp(σ2)=exp(2μ)exp(σ2)(exp(σ2)−1)=exp(2μ+σ2)(exp(σ2)−1)​

2変量正規分布

実数 $\mu_1, \mu_2$ と $\sigma_1 > 0, \sigma_2 > 0$ ，さらに $-1 < \rho < 1$ を満たす $\rho$ に対し，確率ベクトル $\mathbf{X} = (X_1, X_2)^\top$ が同時確率密度関数

\begin{align} f(x_1, x_2) = \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \end{align}

をもつとき， $\mathbf{X}$ は平均ベクトル $\pmb{\mu}$ ，分散共分散行列 $\Sigma_2$ の2変量正規分布に従うといい，この分布を $N_2(\pmb{\mu}, \Sigma_2)$ で表す．ただし

\begin{align} \pmb{\mu} = (\mu_1, \mu_2)^\top, \quad \Sigma_2 = \begin{pmatrix} \sigma_1^{\,2} & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^{\,2} \end{pmatrix} \end{align}

とする．

また，(27)式を成分表示すると

\begin{equation*} \begin{split} &f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \\ & \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \\ \end{split} \end{equation*}

となる．パラメータ $\rho$ は $X_1$ $X_2$ の相関係数を表すが， $\rho = 0$ の場合には，同時確率密度関数 $f(x_1, x_2)$ が， $N(\mu_1, \sigma_1^{\,2})$ と $N(\mu_2, \sigma_2^{\,2})$ の確率密度関数の積に分かれ， $X_1$ と $X_2$ は独立になる．

2変量正規分布の確率密度関数の導出

独立な標準正規分布 Z=(Z1,Z2)⊤\mathbf{Z} = (Z_1, Z_2)^\topZ=(Z1​,Z2​)⊤ の変数変換より求める
Z1,Z2Z_1, Z_2Z1​,Z2​ がそれぞれ独立に標準正規分布 N2(0,I2)N_2(\mathbf{0}, I_2)N2​(0,I2​) に従うとする．ことのき，Z\mathbf{Z}Z の同時確率密度関数 ggg は
gZ(z)=gZ1(z1)×gZ2(z2)=1(2π)2exp⁡[−z12+z222]=12πexp⁡[−z⊤z2]
\begin{align*}
    g_{\mathbf{Z}}(\mathbf{z}) &= g_{Z_1}(z_1) \times g_{Z_2}(z_2) \\
    &= \frac{1}{(\sqrt{2\pi})^2} \exp\left[-\frac{z_1^2 + z_2^2}{2}\right] \\
    &= \frac{1}{2\pi} \exp\left[-\frac{\mathbf{z}^\top \mathbf{z}}{2}\right] \\
\end{align*}
gZ​(z)​=gZ1​​(z1​)×gZ2​​(z2​)=(2π​)21​exp[−2z12​+z22​​]=2π1​exp[−2z⊤z​]​となる．ここで2変量の正規分布に拡張するために，線形変換を用いて定義される確率変数 X=AZ+μ\mathbf{X} = A\mathbf{Z} + \pmb{\mu}X=AZ+μ を導入する．
X=(X1,X2)⊤μ=(μ1,μ2)⊤
\begin{align*}
    \mathbf{X} &= (X_1, X_2)^\top \\
    \pmb{\mu} &= (\mu_1, \mu_2)^\top
\end{align*}
Xμ​=(X1​,X2​)⊤=(μ1​,μ2​)⊤​ただし，A∈R2×2A \in \R^{2 \times 2}A∈R2×2 は正則であり，μ\pmb{\mu}μ は期待値を結合したベクトルを表す．
!確率変数 X\mathbf{X}X は線形変換 AAA を用いて定義されているので，Z1,Z2Z_1, Z_2Z1​,Z2​ が持っていた独立性は失われる．
ここで，X=AZ+μ\mathbf{X} = A\mathbf{Z} + \pmb{\mu}X=AZ+μ, Y=W\mathbf{Y} = \mathbf{W}Y=W の変数変換を考えると，逆変換は
{X=AZ+μY=W⇔{Z=A−1(X−μ)W=Y
\begin{equation*}
  \left\{
  \begin{aligned}
    & \mathbf{X} = A\mathbf{Z} + \pmb{\mu} \\
    & \mathbf{Y} = \mathbf{W}
  \end{aligned}
  \right. \\
  \\
  \Leftrightarrow \left\{
  \begin{aligned}
    & \mathbf{Z} = A^{-1}(\mathbf{X} - \pmb{\mu}) \\
    & \mathbf{W} = \mathbf{Y}
  \end{aligned}
  \right. \\
\end{equation*}
{​X=AZ+μY=W​⇔{​Z=A−1(X−μ)W=Y​​となり，ヤコビアンは
J((Z,W)→(X,Y))=det(∂Z∂X∂Z∂Y∂W∂X∂W∂Y)=det(A−1O2O2I2)=∣A−1∣∣I2−O2AO2∣(∵∣A∣≠0のとき，∣Z∣=∣ABCD∣=∣A∣∣D−CA−1B∣)=∣A−1∣=∣A∣−1(∵Aが正則なら，∣A−1∣=∣A∣−1)
\begin{align*}
    J((\mathbf{Z}, \mathbf{W}) \rightarrow (\mathbf{X}, \mathbf{Y}))
    &= det \begin{pmatrix}
        \frac{\partial \mathbf{Z}}{\partial \mathbf{X}} & \frac{\partial \mathbf{Z}}{\partial \mathbf{Y}} \\
        \frac{\partial \mathbf{W}}{\partial \mathbf{X}} &  \frac{\partial \mathbf{W}}{\partial \mathbf{Y}}
    \end{pmatrix} \\
    &= det \begin{pmatrix}
        A^{-1} & O_2 \\
        O_2 & I_2
    \end{pmatrix} \\
    &= |A^{-1}||I_2 - O_2AO_2| \quad\left(\because |A| \neq 0のとき，|Z| = \begin{vmatrix} A&B \\ C&D \end{vmatrix} = |A||D-CA^{-1}B|\right) \\
    &= |A^{-1}| \\
    &= |A|^{-1} \quad(\because Aが正則なら，|A^{-1}|=|A|^{-1})
\end{align*}
J((Z,W)→(X,Y))​=det(∂X∂Z​∂X∂W​​∂Y∂Z​∂Y∂W​​)=det(A−1O2​​O2​I2​​)=∣A−1∣∣I2​−O2​AO2​∣(∵∣A∣=0のとき，∣Z∣=​AC​BD​​=∣A∣∣D−CA−1B∣)=∣A−1∣=∣A∣−1(∵Aが正則なら，∣A−1∣=∣A∣−1)​となる．ここで fX(x)=gZ(z)⋅abs∣A∣−1f_{\mathbf{X}}(\mathbf{x}) = g_{\mathbf{Z}}(\mathbf{z}) \cdot abs|A|^{-1}fX​(x)=gZ​(z)⋅abs∣A∣−1 であるから，
fX(x)=12πexp⁡[−{A−1(x−μ)}⊤{A−1(x−μ)}2]⋅abs∣A∣−1=12πexp⁡[−(x−μ)⊤(A−1)⊤A−1(x−μ)2]⋅abs∣A∣−1=12πexp⁡[−(x−μ)⊤(A⊤)−1A−1(x−μ)2]⋅abs∣A∣−1=12πexp⁡[−(x−μ)⊤(AA⊤)−1(x−μ)2]⋅abs∣A∣−1
\begin{align*}
    f_{\mathbf{X}}(\mathbf{x}) &= \frac{1}{2\pi} \exp\left[-\frac{\{A^{-1}(\mathbf{x} - \pmb{\mu})\}^\top \{A^{-1}(\mathbf{x} - \pmb{\mu})\}}{2}\right] \cdot abs|A|^{-1} \\
    &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (A^{-1})^\top A^{-1}(\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\
    &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (A^\top)^{-1} A^{-1}(\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\
    &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (AA^\top)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\
\end{align*}
fX​(x)​=2π1​exp[−2{A−1(x−μ)}⊤{A−1(x−μ)}​]⋅abs∣A∣−1=2π1​exp[−2(x−μ)⊤(A−1)⊤A−1(x−μ)​]⋅abs∣A∣−1=2π1​exp[−2(x−μ)⊤(A⊤)−1A−1(x−μ)​]⋅abs∣A∣−1=2π1​exp[−2(x−μ)⊤(AA⊤)−1(x−μ)​]⋅abs∣A∣−1​あとは AA⊤AA^\topAA⊤ と abs∣A∣−1abs|A|^{-1}abs∣A∣−1 を求めれば導出が完了する．




まずは，AA⊤AA^\topAA⊤ から求める．XXX の分散を求めると，
V[X]=E[(X−μ)(X−μ)⊤]=E[AZ(AZ)⊤]=E[AZZ⊤A⊤]=AE[ZZ]A⊤(∵E[AXB]=AE[X]B)
\begin{align*}
    V[\mathbf{X}] &= E[(\mathbf{X} - \pmb{\mu})(\mathbf{X} - \pmb{\mu})^\top] \\
    &= E[A\mathbf{Z}(A\mathbf{Z})^\top] \\
    &= E[A\mathbf{Z}\mathbf{Z}^\top A^\top] \\
    &= AE[\mathbf{Z}\mathbf{Z}]A^\top \quad(\because E[AXB] = AE[X]B)
\end{align*}
V[X]​=E[(X−μ)(X−μ)⊤]=E[AZ(AZ)⊤]=E[AZZ⊤A⊤]=AE[ZZ]A⊤(∵E[AXB]=AE[X]B)​ここで Z\mathbf{Z}Z は2次元標準正規分布に従うことから，

V[Z]=E[ZZ⊤]=I2V[\mathbf{Z}] = E[\mathbf{Z}\mathbf{Z}^\top] = I_2V[Z]=E[ZZ⊤]=I2​ であるので，
V[X]=AA⊤=Σ2(∵Xの分散共分散行列をΣ2とおいた)
\begin{align*}
    V[\mathbf{X}] &= AA^\top \\
    &= \Sigma_2 \quad(\because \mathbf{X}の分散共分散行列を\Sigma_2とおいた)
\end{align*}
V[X]​=AA⊤=Σ2​(∵Xの分散共分散行列をΣ2​とおいた)​つぎに，abs∣A∣−1abs|A|^{-1}abs∣A∣−1を求める．AA⊤=ΣAA^\top = \SigmaAA⊤=Σ の関係を使う．
abs∣Σ∣=abs∣AA⊤∣=abs∣A∣⋅abs∣A⊤∣(∵∣AB∣=∣A∣∣B∣)=abs∣A∣⋅abs∣A∣(∵∣A⊤∣=∣A∣)=(abs∣A∣)2∴abs∣A∣=(abs∣Σ2∣)1/2=∣Σ2∣1/2(∵分散共分散行列は半正定値行列であるから∣Σ2∣≥0)∴abs∣A∣−1=∣Σ2∣−1/2
\begin{align*}
    abs|\Sigma| &= abs|AA^\top| \\
    &= abs|A| \cdot abs|A^\top| \quad(\because |AB|=|A||B|) \\
    &= abs|A| \cdot abs|A| \quad(\because |A^\top| = |A|) \\
    &= (abs|A|)^2 \\
    \\
    \therefore abs|A| &= (abs|\Sigma_2|)^{1/2} \\
    &= |\Sigma_2|^{1/2} \quad(\because 分散共分散行列は半正定値行列であるから|\Sigma_2| \geq 0)
    \\
    \therefore abs|A|^{-1} &= |\Sigma_2|^{-1/2}
\end{align*}
abs∣Σ∣∴abs∣A∣∴abs∣A∣−1​=abs∣AA⊤∣=abs∣A∣⋅abs∣A⊤∣(∵∣AB∣=∣A∣∣B∣)=abs∣A∣⋅abs∣A∣(∵∣A⊤∣=∣A∣)=(abs∣A∣)2=(abs∣Σ2​∣)1/2=∣Σ2​∣1/2(∵分散共分散行列は半正定値行列であるから∣Σ2​∣≥0)=∣Σ2​∣−1/2​求めた AA⊤AA^\topAA⊤ と abs∣A∣−1abs|A|^{-1}abs∣A∣−1 を fX(x)f_{\mathbf{X}}(\mathbf{x})fX​(x) の式に代入して
fX(x)=12πexp⁡[−(x−μ)⊤(Σ2)−1(x−μ)2]⋅∣Σ2∣−1/2=12π∣Σ2∣1/2exp⁡[−(x−μ)⊤(Σ2)−1(x−μ)2]
\begin{align*}
    f_{\mathbf{X}}(\mathbf{x}) &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right] \cdot |\Sigma_2|^{-1/2} \\
    &= \frac{1}{2\pi|\Sigma_2|^{1/2}} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right]
\end{align*}
fX​(x)​=2π1​exp[−2(x−μ)⊤(Σ2​)−1(x−μ)​]⋅∣Σ2​∣−1/2=2π∣Σ2​∣1/21​exp[−2(x−μ)⊤(Σ2​)−1(x−μ)​]​

成分表示の証明

(28)を用いて(27)式を行列表示を成分表示に戻す
まずは，∣Σ∣1/2|\Sigma|^{1/2}∣Σ∣1/2 を計算する．
∣Σ∣1/2=∣σ1 2ρσ1σ2ρσ1σ2σ2 2∣1/2={σ1 2⋅σ2 2−(ρσ1σ2)2}1/2={σ1 2σ2 2(1−ρ2)}1/2=σ1σ21−ρ2
\begin{align*}
    |\Sigma|^{1/2} &= \begin{vmatrix}
        \sigma_1^{\, 2} & \rho\sigma_1\sigma_2 \\
        \rho\sigma_1\sigma_2 & \sigma_2^{\, 2}
    \end{vmatrix}^{1/2} \\
    &= \{\sigma_1^{\, 2} \cdot \sigma_2^{\, 2} - (\rho\sigma_1\sigma_2)^2\}^{1/2} \\
    &= \{\sigma_1^{\, 2}\sigma_2^{\, 2}(1 - \rho^2)\}^{1/2} \\
    &= \sigma_1\sigma_2\sqrt{1 - \rho^2}
\end{align*}
∣Σ∣1/2​=​σ12​ρσ1​σ2​​ρσ1​σ2​σ22​​​1/2={σ12​⋅σ22​−(ρσ1​σ2​)2}1/2={σ12​σ22​(1−ρ2)}1/2=σ1​σ2​1−ρ2​​次に (x−μ)⊤(Σ2)−1(x−μ)(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})(x−μ)⊤(Σ2​)−1(x−μ) を計算する．
Σ−1=1σ1 2σ2 2(1−ρ2)(σ2 2−ρσ1σ2−ρσ1σ2σ1 2)=11−ρ2(1σ1 2−ρσ1σ2−ρσ1σ21σ2 2)
\begin{align*}
    \Sigma^{-1} &= \frac{1}{\sigma_1^{\, 2}\sigma_2^{\, 2}(1 - \rho^2)} \begin{pmatrix}
        \sigma_2^{\,2} & -\rho\sigma_1\sigma_2 \\
        -\rho\sigma_1\sigma_2 & \sigma_1^{\,2}
    \end{pmatrix} \\
    &= \frac{1}{1-\rho^2}\begin{pmatrix}
        \frac{1}{\sigma_1^{\, 2}} & -\frac{\rho}{\sigma_1\sigma_2} \\
        -\frac{\rho}{\sigma_1\sigma_2} & \frac{1}{\sigma_2^{\, 2}}
    \end{pmatrix}
\end{align*}
Σ−1​=σ12​σ22​(1−ρ2)1​(σ22​−ρσ1​σ2​​−ρσ1​σ2​σ12​​)=1−ρ21​(σ12​1​−σ1​σ2​ρ​​−σ1​σ2​ρ​σ22​1​​)​(x−μ)⊤(Σ2)−1(x−μ)=11−ρ2(x1−μ1x2−μ2)(1σ1 2−ρσ1σ2−ρσ1σ21σ2 2)(x1−μ1x2−μ2)=11−ρ2(1σ1 2(x1−μ1)−ρσ1σ2(x1−μ1)−ρσ1σ2(x2−μ2)+1σ2 2(x2−μ2))(x1−μ1x2−μ2)=11−ρ2{1σ1 2(x1−μ1)2−ρσ1σ2(x1−μ1)(x2−μ2)−ρσ1σ2(x1−μ1)(x2−μ2)+1σ2 2(x2−μ2)2}=11−ρ2{(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}
\begin{align*}
    (\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu}) &= \frac{1}{1-\rho^2} \begin{pmatrix}
        x_1 - \mu_1 & x_2 -\mu_2
    \end{pmatrix}
    \begin{pmatrix}
        \frac{1}{\sigma_1^{\, 2}} & -\frac{\rho}{\sigma_1\sigma_2} \\
        -\frac{\rho}{\sigma_1\sigma_2} & \frac{1}{\sigma_2^{\, 2}}
    \end{pmatrix}
    \begin{pmatrix}
        x_1 - \mu_1 \\ x_2 -\mu_2
    \end{pmatrix} \\
    &= \frac{1}{1-\rho^2} \begin{pmatrix}
        \frac{1}{\sigma_1^{\, 2}}(x_1 - \mu_1)  - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1) \\
        -\frac{\rho}{\sigma_1\sigma_2}(x_2 - \mu_2) + \frac{1}{\sigma_2^{\, 2}}(x_2 - \mu_2)
    \end{pmatrix}
    \begin{pmatrix}
        x_1 - \mu_1 \\ x_2 -\mu_2
    \end{pmatrix} \\
    &= \frac{1}{1-\rho^2} \left\{ \frac{1}{\sigma_1^{\, 2}}(x_1 - \mu_1)^2  - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1)(x_2 - \mu_2) - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1)(x_2 - \mu_2) + \frac{1}{\sigma_2^{\, 2}}(x_2 - \mu_2)^2 \right\} \\
    &= \frac{1}{1-\rho^2} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\}
\end{align*}
(x−μ)⊤(Σ2​)−1(x−μ)​=1−ρ21​(x1​−μ1​​x2​−μ2​​)(σ12​1​−σ1​σ2​ρ​​−σ1​σ2​ρ​σ22​1​​)(x1​−μ1​x2​−μ2​​)=1−ρ21​(σ12​1​(x1​−μ1​)−σ1​σ2​ρ​(x1​−μ1​)−σ1​σ2​ρ​(x2​−μ2​)+σ22​1​(x2​−μ2​)​)(x1​−μ1​x2​−μ2​​)=1−ρ21​{σ12​1​(x1​−μ1​)2−σ1​σ2​ρ​(x1​−μ1​)(x2​−μ2​)−σ1​σ2​ρ​(x1​−μ1​)(x2​−μ2​)+σ22​1​(x2​−μ2​)2}=1−ρ21​{(σ1​x1​−μ1​​)2−2ρ(σ1​x1​−μ1​​)(σ2​x2​−μ2​​)+(σ2​x2​−μ2​​)2}​求めた ∣Σ∣1/2|\Sigma|^{1/2}∣Σ∣1/2 と (x−μ)⊤(Σ2)−1(x−μ)(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})(x−μ)⊤(Σ2​)−1(x−μ) を(40)式に代入して
f(x1,x2)=12πσ1σ21−ρexp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}]
f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho}} \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right]
f(x1​,x2​)=2πσ1​σ2​1−ρ​1​exp[−2(1−ρ2)1​{(σ1​x1​−μ1​​)2−2ρ(σ1​x1​−μ1​​)(σ2​x2​−μ2​​)+(σ2​x2​−μ2​​)2}]

ρ=0 のときの同時確率密度関数

成分表示した同時確率密度関数に $\rho=0$ を代入し，2つの正規分布の確率密度関数で表せることを示す

\begin{align*} f(x_1, x_2) &= \frac{1}{2\pi\sigma_1\sigma_2} \exp\left[-\frac{1}{2} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \\ &= \frac{1}{\sqrt{2\pi}\sigma_1}\frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[ -\frac{1}{2} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \exp\left[ -\frac{1}{2} \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right] \\ &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[ -\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\, ^2}} \right] \times \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[ -\frac{(x_2 - \mu_2)^2}{2\sigma_2^{\, ^2}} \right] \end{align*}

$\mathbf{X} \sim N_2(\pmb{\mu}, \Sigma_2)$ のとき，平均ベクトルと分散共分散行列は

\begin{align} E[\mathbf{X}] &= \pmb{\mu} \\ V[\mathbf{X}] &= \Sigma_2 \end{align}

となる．

(29)の証明

平均ベクトルの定義から求める
2次元分布の期待値は，
E[X]=(E[X1]E[X2])
\begin{align*}
    E[\mathbf{X}] = \begin{pmatrix}
        E[X_1] \\
        E[X_2]
    \end{pmatrix}
\end{align*}
E[X]=(E[X1​]E[X2​]​)​と定義されるので，X1X_1X1​，X2X_2X2​ それぞれの期待値を求める．


X1X_1X1​ の期待値は
E[X1]=∫−∞∞∫−∞∞x1f(x1,x2) dx1dx2=∫−∞∞x1(∫−∞∞f(x1,x2) dx2) dx1=∫−∞∞x1f(x1) dx1(∵∫−∞∞f(x1,x2) dx2はx1の周辺確率密度関数である)=μ1(∵X1∼(μ1,σ1 2))
\begin{align*}
    E[X_1] &= \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} x_1 f(x_1, x_2) \, dx_1dx_2 \\
    &= \int_{-\infty}^{\infty} x_1 \left(\int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 \right) \, dx_1 \\
    &= \int_{-\infty}^{\infty} x_1 f(x_1) \, dx_1 \quad(\because \int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 は x_1 の周辺確率密度関数である) \\
    &= \mu_1 \quad(\because X_1 \sim (\mu_1, \sigma_1^{\,2}))
\end{align*}
E[X1​]​=∫−∞∞​∫−∞∞​x1​f(x1​,x2​)dx1​dx2​=∫−∞∞​x1​(∫−∞∞​f(x1​,x2​)dx2​)dx1​=∫−∞∞​x1​f(x1​)dx1​(∵∫−∞∞​f(x1​,x2​)dx2​はx1​の周辺確率密度関数である)=μ1​(∵X1​∼(μ1​,σ12​))​X2X_2X2​ の期待値も同様にして μ2\mu_2μ2​ を得る．

以上より，2変量正規分布の期待値ベクトルは
E[X]=(E[X1]E[X2])=(μ1μ2)
\begin{align*}
    E[\mathbf{X}] &= \begin{pmatrix}
        E[X_1] \\
        E[X_2]
    \end{pmatrix} \\
    &= \begin{pmatrix}
        \mu_1 \\
        \mu_2
    \end{pmatrix}
\end{align*}
E[X]​=(E[X1​]E[X2​]​)=(μ1​μ2​​)​

(30)の証明

分散共分散行列の定義から求める

\begin{align*} V[\mathbf{X}] &= E[\{\mathbf{x} - E(\mathbf{x})\}\{\mathbf{x} - E(\mathbf{x})\}^\top] \\ &= E[(\mathbf{x} - \pmb{\mu})(\mathbf{x} - \pmb{\mu})^\top] \\ &= E\left[ \begin{pmatrix} x_1 - \mu_1 \\ x_2 - \mu_2 \end{pmatrix} \begin{pmatrix} x_1 - \mu_1 & x_2 - \mu_2 \end{pmatrix} \right] \\ &= \begin{pmatrix} E[(x_1 - \mu_1)^2] & E[(x_1 - \mu_1)(x_2 - \mu_2)] \\ E[(x_1 - \mu_1)(x_2 - \mu_2)] & E[(x_2 - \mu_2)^2] \\ \end{pmatrix} \\ &= \begin{pmatrix} \sigma_1^{\,2} & \sigma_{12} \\ \sigma_{12} & \sigma_2^{\,2} \end{pmatrix} \\ &= \begin{pmatrix} \sigma_1^{\,2} & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^{\,2} \end{pmatrix} \quad\left( \because \rho = \frac{\sigma_{12}}{\sigma_1\sigma_2} \right)\\ &= \Sigma_2 \end{align*}

$X_1$ と $X_2$ の周辺分布は，それぞれ $N(\mu_1, \sigma_1^{\, 2})$ と $N(\mu_2, \sigma_2^{\, 2})$ となる．

周辺分布の証明

周辺分布の定義から求める
f(x1)=∫−∞∞f(x1,x2) dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2){−2ρ(x1−μ1)(x2−μ2)σ1σ2+(x2−μ2σ2)2}]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2)σ2 2{(x2−μ2)2−2ρσ2(x1−μ1)σ1(x2−μ2)}]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}−ρ2σ2 2σ1 2(x1−μ1)2]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−(ρ(x1−μ1)σ1)2}] dx2=12πσ1exp⁡[−(x1−μ1)22σ1 2]∫−∞∞12π1−ρ2σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}] dx2ここでx2−μ2=yとおくとdx2=dyであり，1−ρ2σ2=σ，ρσ2σ1(x1−μ1)=μとおくと=12πσ1exp⁡[−(x1−μ1)22σ1 2]∫−∞∞12πσexp⁡[−(y−μ)22σ2] dy=12πσ1exp⁡[−(x1−μ1)22σ1 2](∵∫−∞∞12πσexp⁡[−(y−μ)22σ2] dy=1)
\begin{align*}
    f(x_1) &= \int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 \\
    &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \, dx_2 \\
    &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \frac{-2\rho(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\
    &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ (x_2 - \mu_2)^2 - \frac{2\rho\sigma_2(x_1 - \mu_1)}{\sigma_1}(x_2 - \mu_2) \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\
    &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2  \right\} - \frac{\rho^2\sigma_2^{\,2}}{\sigma_1^{\,2}}(x_1 - \mu_1)^2 \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\
    &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2  \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - \left(\frac{\rho(x_1 - \mu_1)}{\sigma_1}\right)^2 \right\} \right] \, dx_2 \\
    &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2  \right\} \right] \, dx_2 \\
    \\ &ここで x_2 - \mu_2 = yとおくとdx_2 = dyであり，\sqrt{1-\rho^2}\sigma_2 = \sigma，\frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) = \muとおくと \\
    &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[ -\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\
    &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \quad(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[ -\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy = 1)
\end{align*}
f(x1​)​=∫−∞∞​f(x1​,x2​)dx2​=∫−∞∞​2πσ1​σ2​1−ρ2​1​×exp[−2(1−ρ2)1​{(σ1​x1​−μ1​​)2−2ρ(σ1​x1​−μ1​​)(σ2​x2​−μ2​​)+(σ2​x2​−μ2​​)2}]dx2​=∫−∞∞​2πσ1​σ2​1−ρ2​1​×exp[−2(1−ρ2)1​{σ1​σ2​−2ρ(x1​−μ1​)(x2​−μ2​)​+(σ2​x2​−μ2​​)2}]×exp[−2(1−ρ2)1​(σ1​x1​−μ1​​)2]dx2​=∫−∞∞​2πσ1​σ2​1−ρ2​1​×exp[−2(1−ρ2)σ22​1​{(x2​−μ2​)2−σ1​2ρσ2​(x1​−μ1​)​(x2​−μ2​)}]×exp[−2(1−ρ2)1​(σ1​x1​−μ1​​)2]dx2​=∫−∞∞​2πσ1​σ2​1−ρ2​1​×exp[−2(1−ρ2)σ22​1​{((x2​−μ2​)−σ1​ρσ2​​(x1​−μ1​))2}−σ12​ρ2σ22​​(x1​−μ1​)2]×exp[−2(1−ρ2)1​(σ1​x1​−μ1​​)2]dx2​=∫−∞∞​2πσ1​σ2​1−ρ2​1​×exp[−2(1−ρ2)σ22​1​{((x2​−μ2​)−σ1​ρσ2​​(x1​−μ1​))2}]×exp[−2(1−ρ2)1​{(σ1​x1​−μ1​​)2−(σ1​ρ(x1​−μ1​)​)2}]dx2​=2π​σ1​1​exp[−2σ12​(x1​−μ1​)2​]∫−∞∞​2π​1−ρ2​σ2​1​×exp[−2(1−ρ2)σ22​1​{((x2​−μ2​)−σ1​ρσ2​​(x1​−μ1​))2}]dx2​ここでx2​−μ2​=yとおくとdx2​=dyであり，1−ρ2​σ2​=σ，σ1​ρσ2​​(x1​−μ1​)=μとおくと=2π​σ1​1​exp[−2σ12​(x1​−μ1​)2​]∫−∞∞​2π​σ1​exp[−2σ2(y−μ)2​]dy=2π​σ1​1​exp[−2σ12​(x1​−μ1​)2​](∵∫−∞∞​2π​σ1​exp[−2σ2(y−μ)2​]dy=1)​同様にして，f(x2)=12πσ2exp⁡[−(x2−μ2)22σ2 2]f(x_2) = \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[-\frac{(x_2 - \mu_2)^2}{2\sigma_2^{\,2}} \right]f(x2​)=2π​σ2​1​exp[−2σ22​(x2​−μ2​)2​] を得る．

x1,x2x_1, x_2x1​,x2​ の周辺分布は， それぞれ N(μ1,σ1 2)N(\mu_1, \sigma_1^{\, 2})N(μ1​,σ12​) と N(μ2,σ2 2)N(\mu_2, \sigma_2^{\, 2})N(μ2​,σ22​) の確率密度関数に一致する．

また， $X_1 = x_1$ が与えられたときの $X_2$ の条件付き分布は，正規分布となり，その期待値^[10]と分散^[11]は

\begin{align} E[X_2|X_1 = x_1] &= \mu_2 + \rho \cdot \frac{\sigma_2}{\sigma_1}(x_1 - \mu_1) = \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1) \\ V[X_2|X_1 = x_1] &= (1-\rho^2)\sigma_2^{\,2} = \frac{|\Sigma|}{\sigma_1^{\,2}} \end{align}

となる．

条件付き分布の証明

条件付き分布の定義から求める
f(x2∣x1)=f(x1,x2)f(x1)=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2){−2ρ(x1−μ1)(x2−μ2)σ1σ2+(x2−μ2σ2)2}]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}−ρ2σ2 2σ1 2(x1−μ1)2]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−(ρ(x1−μ1)σ1)2}]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]×exp⁡[−(x1−μ1)22σ1 2]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]=12π1−ρ2σ2×exp⁡[−{x2−(μ2+ρσ2σ1(x1−μ1))}22(1−ρ2)σ2 2]
\begin{align*}
    f(x_2|x_1) &= \frac{f(x_1, x_2)}{f(x_1)} \\
    &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
    &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
    &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \frac{-2\rho(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
    &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2  \right\} - \frac{\rho^2\sigma_2^{\,2}}{\sigma_1^{\,2}}(x_1 - \mu_1)^2 \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
    &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2  \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - \left(\frac{\rho(x_1 - \mu_1)}{\sigma_1}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
    &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2  \right\} \right] \times \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
    &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2  \right\} \right] \\
    &= \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right]
\end{align*}
f(x2​∣x1​)​=f(x1​)f(x1​,x2​)​=2π(1−ρ2)​σ2​1​×exp[−2(1−ρ2)1​{(σ1​x1​−μ1​​)2−2ρ(σ1​x1​−μ1​​)(σ2​x2​−μ2​​)+(σ2​x2​−μ2​​)2}]×exp[2σ12​(x1​−μ1​)2​]=2π(1−ρ2)​σ2​1​×exp[−2(1−ρ2)1​{(σ1​x1​−μ1​​)2−2ρ(σ1​x1​−μ1​​)(σ2​x2​−μ2​​)+(σ2​x2​−μ2​​)2}]×exp[2σ12​(x1​−μ1​)2​]=2π(1−ρ2)​σ2​1​×exp[−2(1−ρ2)1​{σ1​σ2​−2ρ(x1​−μ1​)(x2​−μ2​)​+(σ2​x2​−μ2​​)2}]×exp[−2(1−ρ2)1​(σ1​x1​−μ1​​)2]×exp[2σ12​(x1​−μ1​)2​]=2π(1−ρ2)​σ2​1​×exp[−2(1−ρ2)σ22​1​{((x2​−μ2​)−σ1​ρσ2​​(x1​−μ1​))2}−σ12​ρ2σ22​​(x1​−μ1​)2]×exp[−2(1−ρ2)1​(σ1​x1​−μ1​​)2]×exp[2σ12​(x1​−μ1​)2​]=2π(1−ρ2)​σ2​1​×exp[−2(1−ρ2)σ22​1​{((x2​−μ2​)−σ1​ρσ2​​(x1​−μ1​))2}]×exp[−2(1−ρ2)1​{(σ1​x1​−μ1​​)2−(σ1​ρ(x1​−μ1​)​)2}]×exp[2σ12​(x1​−μ1​)2​]=2π(1−ρ2)​σ2​1​×exp[−2(1−ρ2)σ22​1​{((x2​−μ2​)−σ1​ρσ2​​(x1​−μ1​))2}]×exp[−2σ12​(x1​−μ1​)2​]×exp[2σ12​(x1​−μ1​)2​]=2π(1−ρ2)​σ2​1​×exp[−2(1−ρ2)σ22​1​{((x2​−μ2​)−σ1​ρσ2​​(x1​−μ1​))2}]=2π​1−ρ2​σ2​1​×exp​−2(1−ρ2)σ22​{x2​−(μ2​+σ1​ρσ2​​(x1​−μ1​))}2​​​これは，N(μ2+ρσ2σ1(x1−μ1),(1−ρ2)σ2 2)N\left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1), (1-\rho^2)\sigma_2^{\,2}\right)N(μ2​+σ1​ρσ2​​(x1​−μ1​),(1−ρ2)σ22​) の正規分布の確率密度関数である．

(31)の証明

①条件付き分布のパラメータから求める
条件付き分布 f(x2∣x1)f(x_2|x_1)f(x2​∣x1​) は 12π1−ρ2σ2×exp⁡[−{x2−(μ2+ρσ2σ1(x1−μ1))}22(1−ρ2)σ2 2]\frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right]2π​1−ρ2​σ2​1​×exp[−2(1−ρ2)σ22​{x2​−(μ2​+σ1​ρσ2​​(x1​−μ1​))}2​] と表せるので，期待値は μ2+ρσ2σ1(x1−μ1)\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1)μ2​+σ1​ρσ2​​(x1​−μ1​) とわかる．
E[X2∣X1]=μ2+ρσ2σ1(x1−μ1)=μ2+σ12σ1 2(x1−μ1)(∵ρ=σ12σ1σ2)
\begin{align*}
    E[X_2|X_1] &= \mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \\
    &= \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1) \quad\left(\because \rho = \frac{\sigma_{12}}{\sigma_1\sigma_2}\right)
\end{align*}
E[X2​∣X1​]​=μ2​+σ1​ρσ2​​(x1​−μ1​)=μ2​+σ12​σ12​​(x1​−μ1​)(∵ρ=σ1​σ2​σ12​​)​②単回帰による証明
単回帰モデルは E[X2∣X1=x1]=β0+β1x2E[X_2|X_1 = x_1] = \beta_0 + \beta_1 x_2E[X2​∣X1​=x1​]=β0​+β1​x2​ と表せ，β0=μ2−β1μ1\beta_0 = \mu_2 - \beta_1\mu_1β0​=μ2​−β1​μ1​，β1=σ12σ1 2\beta_1 = \frac{\sigma_{12}}{\sigma_1^{\,2}}β1​=σ12​σ12​​ であるから，
E[X2∣X1]=β0+β1x2=μ2−σ12σ1 2μ1+σ12σ1 2x1=μ2+σ12σ1 2(x1−μ1)
\begin{align*}
    E[X_2|X_1] &= \beta_0 + \beta_1 x_2 \\
    &= \mu_2 - \frac{\sigma_{12}}{\sigma_1^{\,2}}\mu_1 + \frac{\sigma_{12}}{\sigma_1^{\,2}}x_1 \\
    &= \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1)
\end{align*}
E[X2​∣X1​]​=β0​+β1​x2​=μ2​−σ12​σ12​​μ1​+σ12​σ12​​x1​=μ2​+σ12​σ12​​(x1​−μ1​)​

(32)の証明

条件付き分布のパラメータから求める
条件付き分布 f(x2∣x1)f(x_2|x_1)f(x2​∣x1​) は 12π1−ρ2σ2×exp⁡[−{x2−(μ2+ρσ2σ1(x1−μ1))}22(1−ρ2)σ2 2]\frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right]2π​1−ρ2​σ2​1​×exp[−2(1−ρ2)σ22​{x2​−(μ2​+σ1​ρσ2​​(x1​−μ1​))}2​] と表せるので，分散は (1−ρ2)σ2 2(1-\rho^2)\sigma_2^{\,2}(1−ρ2)σ22​ とわかる．
V[X2∣X1]=(1−ρ2)σ2 2=∣Σ∣σ1 2(∵∣Σ∣=σ1 2σ2 2−ρ2σ1 2σ2 2=(1−ρ2)σ1 2σ2 2)
\begin{align*}
    V[X_2|X_1] &= (1-\rho^2)\sigma_2^{\,2} \\
    &= \frac{|\Sigma|}{\sigma_1^{\,2}} \quad(\because |\Sigma| = \sigma_1^{\,2}\sigma_2^{\,2} - \rho^2\sigma_1^{\,2}\sigma_2^{\,2} = (1 - \rho^2)\sigma_1^{\,2}\sigma_2^{\,2})
\end{align*}
V[X2​∣X1​]​=(1−ρ2)σ22​=σ12​∣Σ∣​(∵∣Σ∣=σ12​σ22​−ρ2σ12​σ22​=(1−ρ2)σ12​σ22​)​

さらに，積率母関数は以下のようになる．

\begin{align} M(\mathbf{t}) = E[e^{\mathbf{t}^\top\mathbf{X}}] = \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t} \right) \quad \mathbin{t} \in \mathbb{R}^2 \end{align}

積率母関数を使った平均ベクトルと分散共分散行列の計算

E[X]=M′(0)E[\mathbf{X}] = M^\prime(\mathbf{0})E[X]=M′(0) を用いて平均ベクトルを求める．
E[X]=M′(0)=∂∂t{exp⁡(μ⊤t+12t⊤Σt)}∣t=0(∵∂f∂x=∂u∂x∂f∂u)=(μ+12(Σ+Σ⊤)t)exp⁡(μ⊤t+12t⊤Σt)∣t=0=(μ+Σt)exp⁡(μ⊤t+12t⊤Σt)∣t=0(∵Σは対称行列のため，Σ=Σ⊤)=(μ+Σ0)exp⁡(μ⊤0+120⊤Σ0)=μ
\begin{align*}
    E[\mathbf{X}] &= M^\prime(\mathbf{0}) \\
    &= \left. \frac{\partial}{\partial\mathbf{t}}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \frac{\partial f}{\partial\mathbf{x}} = \frac{\partial{\mathbf{u}}}{\partial{\mathbf{x}}}\frac{\partial f}{\partial\mathbf{u}} \right) \\
    &= \left. \left(\pmb{\mu} + \frac{1}{2}(\Sigma + \Sigma^\top)\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right|_{\mathbf{t}=\mathbf{0}} \\
    &= \left. \left(\pmb{\mu} + \Sigma\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right|_{\mathbf{t}=\mathbf{0}} \quad(\because \Sigmaは対称行列のため，\Sigma = \Sigma^\top) \\
    &= \left(\pmb{\mu} + \Sigma\mathbf{0}\right) \exp\left(\pmb{\mu}^\top\mathbf{0} + \frac{1}{2} \mathbf{0}^\top\Sigma\mathbf{0} \right) \\
    &= \pmb{\mu}
\end{align*}
E[X]​=M′(0)=∂t∂​{exp(μ⊤t+21​t⊤Σt)}​t=0​(∵∂x∂f​=∂x∂u​∂u∂f​)=(μ+21​(Σ+Σ⊤)t)exp(μ⊤t+21​t⊤Σt)​t=0​=(μ+Σt)exp(μ⊤t+21​t⊤Σt)​t=0​(∵Σは対称行列のため，Σ=Σ⊤)=(μ+Σ0)exp(μ⊤0+21​0⊤Σ0)=μ​E[XX⊤]=M′′(0)E[\mathbf{X}\mathbf{X}^\top] = M^{\prime\prime}(\mathbf{0})E[XX⊤]=M′′(0) を用いて分散共分散行列を求める．
E[XX⊤]=M′′(0)=∂2∂t∂t⊤{exp⁡(μ⊤t+12t⊤Σt)}∣t=0=∂∂t{(μ+Σt)⊤exp⁡(μ⊤t+12t⊤Σt)}∣t=0(∵∂f∂x⊤(x)=(∂f∂x1(x),…,∂f∂xn(x)))=∂∂t{exp⁡(μ⊤t+12t⊤Σt)(μ+Σt)⊤}∣t=0(∵exp⁡(μ⊤t+12t⊤Σt)はスカラー)={(μ+Σt)exp⁡(μ⊤t+12t⊤Σt)(μ+Σt)⊤+exp⁡(μ⊤t+12t⊤Σt)(0+Σ)}∣t=0=[{(μ+Σt)(μ+Σt)⊤+Σ}exp⁡(μ⊤t+12t⊤Σt)]∣t=0=μμ⊤+Σ∴V[X]=E[(X−E[X])(X−E[X])⊤]=E[XX⊤−XE[X]⊤−E[X]X⊤+E[X]E[X]⊤]=E[XX⊤]−E[X]E[X]⊤−E[X]E[X]⊤+E[X]E[X]⊤=E[XX⊤]−E[X]E[X]⊤=μμ⊤+Σ−μμ⊤=Σ
\begin{align*}
    E[\mathbf{X}\mathbf{X}^\top] &= M^{\prime\prime}(\mathbf{0}) \\
    &= \left. \frac{\partial^2}{\partial\mathbf{t}\partial\mathbf{t}^\top}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \\
    &= \left. \frac{\partial}{\partial\mathbf{t}}\left\{(\pmb{\mu} + \Sigma\mathbf{t})^\top \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \frac{\partial f}{\partial\mathbf{x}^\top}(\mathbf{x}) = \left(\frac{\partial f}{\partial x_1}(\mathbf{x}), \dots, \frac{\partial f}{\partial x_n}(\mathbf{x}) \right) \right) \\
    &= \left. \frac{\partial}{\partial\mathbf{t}}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)(\pmb{\mu} + \Sigma\mathbf{t})^\top \right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)はスカラー \right) \\
    &= \left. \left\{\left(\pmb{\mu} + \Sigma\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)(\pmb{\mu} + \Sigma\mathbf{t})^\top + \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) (\mathbf{0} + \Sigma) \right\}\right|_{\mathbf{t}=\mathbf{0}} \\
    &= \left. \left[\left\{(\pmb{\mu} + \Sigma\mathbf{t})(\pmb{\mu} + \Sigma\mathbf{t})^\top + \Sigma\right\} \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right]\right|_{\mathbf{t}=\mathbf{0}} \\
    &= \pmb{\mu}\pmb{\mu}^\top + \Sigma \\
    \\
    \therefore V[\mathbf{X}] &= E[(\mathbf{X} - E[\mathbf{X}])(\mathbf{X} - E[\mathbf{X}])^\top] \\
    &= E[\mathbf{X}\mathbf{X}^\top - \mathbf{X}E[\mathbf{X}]^\top - E[\mathbf{X}]X^\top + E[\mathbf{X}]E[\mathbf{X}]^\top] \\
    &= E[\mathbf{X}\mathbf{X}^\top] - E[\mathbf{X}]E[\mathbf{X}]^\top - E[\mathbf{X}]E[\mathbf{X}]^\top + E[\mathbf{X}]E[\mathbf{X}]^\top \\
    &= E[\mathbf{X}\mathbf{X}^\top] - E[\mathbf{X}]E[\mathbf{X}]^\top \\
    &= \mu\mu^\top + \Sigma - \mu\mu^\top \\
    &= \Sigma
\end{align*}
E[XX⊤]∴V[X]​=M′′(0)=∂t∂t⊤∂2​{exp(μ⊤t+21​t⊤Σt)}​t=0​=∂t∂​{(μ+Σt)⊤exp(μ⊤t+21​t⊤Σt)}​t=0​(∵∂x⊤∂f​(x)=(∂x1​∂f​(x),…,∂xn​∂f​(x)))=∂t∂​{exp(μ⊤t+21​t⊤Σt)(μ+Σt)⊤}​t=0​(∵exp(μ⊤t+21​t⊤Σt)はスカラー)={(μ+Σt)exp(μ⊤t+21​t⊤Σt)(μ+Σt)⊤+exp(μ⊤t+21​t⊤Σt)(0+Σ)}​t=0​=[{(μ+Σt)(μ+Σt)⊤+Σ}exp(μ⊤t+21​t⊤Σt)]​t=0​=μμ⊤+Σ=E[(X−E[X])(X−E[X])⊤]=E[XX⊤−XE[X]⊤−E[X]X⊤+E[X]E[X]⊤]=E[XX⊤]−E[X]E[X]⊤−E[X]E[X]⊤+E[X]E[X]⊤=E[XX⊤]−E[X]E[X]⊤=μμ⊤+Σ−μμ⊤=Σ​

(33)の証明

①積率母関数の定義より求める．
M(t)=E[et⊤X]=∫−∞∞∫−∞∞exp⁡(t⊤x)12π∣Σ∣1/2exp⁡[−12(x−μ)⊤Σ−1(x−μ)] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12(x−μ)⊤Σ−1(x−μ)] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12{(x⊤−μ⊤)Σ−1(x−μ)}] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12{(x⊤Σ−1−μ⊤Σ−1)(x−μ)}] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12(x⊤Σ−1x−μ⊤Σ−1x−x⊤Σ−1μ+μ⊤Σ−1μ)] dx1dx2
\begin{align*}
    M(\mathbf{t}) &= E[e^{\mathbf{t}^\top\mathbf{X}}] \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \exp(\mathbf{t}^\top\mathbf{x}) \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left\{(\mathbf{x}^\top - \pmb{\mu}^\top) \Sigma^{-1} (\mathbf{x} - \pmb{\mu}) \right\} \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left\{(\mathbf{x}^\top \Sigma^{-1} - \pmb{\mu}^\top \Sigma^{-1}) (\mathbf{x} - \pmb{\mu}) \right\} \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - \pmb{\mu}^\top \Sigma^{-1} \mathbf{x} - \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2
\end{align*}
M(t)​=E[et⊤X]=∫−∞∞​∫−∞∞​exp(t⊤x)2π∣Σ∣1/21​exp[−21​(x−μ)⊤Σ−1(x−μ)]dx1​dx2​=∫−∞∞​∫−∞∞​2π∣Σ∣1/21​exp[t⊤x−21​(x−μ)⊤Σ−1(x−μ)]dx1​dx2​=∫−∞∞​∫−∞∞​2π∣Σ∣1/21​exp[t⊤x−21​{(x⊤−μ⊤)Σ−1(x−μ)}]dx1​dx2​=∫−∞∞​∫−∞∞​2π∣Σ∣1/21​exp[t⊤x−21​{(x⊤Σ−1−μ⊤Σ−1)(x−μ)}]dx1​dx2​=∫−∞∞​∫−∞∞​2π∣Σ∣1/21​exp[t⊤x−21​(x⊤Σ−1x−μ⊤Σ−1x−x⊤Σ−1μ+μ⊤Σ−1μ)]dx1​dx2​​ここで，\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} と \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} はスカラーであるから以下が成り立つ．

\begin{align*}
    \pmb{\mu}^\top \Sigma^{-1} \mathbf{x} &= (\pmb{\mu}^\top \Sigma^{-1} \mathbf{x})^\top \\
    &= \mathbf{x}^\top (\Sigma^{-1})^\top (\pmb{\mu}^\top)^\top \\
    &= \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} \quad(\because \Sigmaは対称行列)
\end{align*}
元の計算式に戻って，

\begin{align*}
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} - 2\mathbf{t}^\top\Sigma\Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left\{\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}^\top + \mathbf{t}^\top\Sigma) \Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right\} \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left\{\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top  \Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right\} \right] \, dx_1 dx_2 \quad((\mathbf{t}^\top\Sigma)^\top = \Sigma^\top\mathbf{t} = \Sigma\mathbf{t})\\
\end{align*}
となる．さらに \mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top  \Sigma^{-1}\mathbf{x} には二次形式の平方完成 \mathbf{x}^\top A^{-1} \mathbf{x} + 2\mathbf{p}^\top A^{-1} \mathbf{x} = (\mathbf{x} + \mathbf{p})^\top A^{-1} (\mathbf{x} + \mathbf{p}) - \mathbf{p}^\top A^{-1} \mathbf{p} \quad (Aは対称行列) が成り立つので，

\begin{align*}
    \mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top  \Sigma^{-1}\mathbf{x} &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu} + \Sigma\mathbf{t})^\top \Sigma^{-1} (\pmb{\mu} + \Sigma\mathbf{t}) \\
    &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1} + \mathbf{t}^\top\Sigma\Sigma^{-1}) (\pmb{\mu} + \Sigma\mathbf{t}) \\
    &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + \mathbf{t}^\top\pmb{\mu} + \pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) \\
    &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + 2\pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) \\
\end{align*}
となる．これを元の計算式に代入して，

\begin{align*}
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} [ \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + 2\pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) + + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu}] \right] \, dx_1 dx_2 \\
    &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \, dx_1 dx_2 \\
    &= \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \, dx_1 dx_2 \\
    &= \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \quad\left(\because \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \, dx_1 dx_2 = 1 \right)
\end{align*}

②2変量標準正規分布の積率母関数より求める．
確率変数 \mathbf{Z} \sim N_2(\mathbf{0}, \mathbf{I}) の積率母関数を求めると，

\begin{align*}
    M_{\mathbf{Z}}(\mathbf{t}) &= E[\exp(\mathbf{t}^\top\mathbf{Z})] \\
    &= E[\exp(t_1Z_1 + t_2Z_2)] \\
    &= E[\exp(t_1Z_1)\exp(t_2Z_2)] \\
    &= E[\exp(t_1Z_1)]E[\exp(t_2Z_2)] \quad(\because Z_1, Z_2は独立に標準正規分布に従う) \\
    &= \exp\left( \frac{1}{2}t_1^2 \right) \exp\left( \frac{1}{2}t_2^2 \right ) \quad(\because 標準正規分布の積率母関数) \\
    &= \exp\left(\frac{1}{2}(t_1^2+t_2^2) \right) \\
    &= \exp\left(\frac{1}{2}\mathbf{t}^\top\mathbf{t}\right)
\end{align*}
となり，\mathbf{X} = \pmb{\mu} + \Sigma^{\frac{1}{2}}\mathbf{Z} \sim N_2(\pmb{\mu, \Sigma}) の積率母関数は，

\begin{align*}
    M_{\mathbf{X}}(\mathbf{t}) &= E[\exp(\mathbf{t}^\top\mathbf{X})] \\
    &= E[\exp\{\mathbf{t}^\top(\pmb{\mu} + \Sigma^{\frac{1}{2}}\mathbf{Z})\}] \\
    &= \exp(\mathbf{t}^\top\pmb{\mu}) E[\exp(\mathbf{t}^\top\Sigma^{\frac{1}{2}}\mathbf{Z})] \\
    &= \exp(\mathbf{t}^\top\pmb{\mu}) E[\exp(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}] \\
    &= \exp(\pmb{\mu}^\top\mathbf{t}) E[\exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}\}] \\
    &= \exp(\pmb{\mu}^\top\mathbf{t}) \exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top(\Sigma^{\frac{1}{2}}\mathbf{t})\} \quad(\because E[\exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}\}] = M_{\mathbf{Z}}(\mathbf{\Sigma^{\frac{1}{2}}t})) \\
    &= \exp(\pmb{\mu}^\top\mathbf{t}) \exp(\mathbf{t}^\top\Sigma\mathbf{t}) \\
    &= \exp(\pmb{\mu}\mathbf{t}^\top + \mathbf{t}^\top\Sigma\mathbf{t})
\end{align*}

$X \sim N_2(\mathbf{\mu},\Sigma)$ である時，正則行列 $A$ およベクトル $\mathbf{b}$ を用いて，線形変換した　 $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$ が従う分布は

\begin{align} \mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N_2(A\pmb{\mu} + \mathbf{b}, A\Sigma A^\top) \end{align}

となる．

(34)の証明

① \mathbf{Y} = A\mathbf{X} + \mathbf{b} の変数変換を単純に計算する
!確率ベクトル \mathbf{X} に対して，単純な変数変換 \mathbf{X} = \phi(\mathbf{Y}) 後の確率密度関数 f_{\mathbf{Y}}(\mathbf{y})は

f_{\mathbf{Y}}(\mathbf{y}) = f_{\mathbf{X}}(\phi(\mathbf{y})) \cdot |J|
と求める事ができる．ここで J = \frac{\partial\mathbf{x}}{\partial\mathbf{y}} はヤコビ行列を指す．
\mathbf{Y} = A\mathbf{X} + \mathbf{b} より，逆変換を考えると \mathbf{X} = A^{-1}(\mathbf{Y} - \mathbf{b}) となり，成分表示だと

\begin{align*}
    \begin{pmatrix}
        x_1 \\ x_2
    \end{pmatrix} &= \mathbf{X} \\
    &=  A^{-1}(\mathbf{Y} - \mathbf{b}) \\
    &= \begin{pmatrix}
        a_{11} & a_{12} \\
        a_{21} & a_{22}
    \end{pmatrix}
    \begin{pmatrix}
        y_1 - b_1 \\
        y_2 - b_2
    \end{pmatrix} \\
    &= \begin{pmatrix}
        a_{11}(y_1 - b_1) + a_{12}(y_2 - b_2) \\
        a_{21}(y_1 - b_1) + a_{22}(y_2 - b_2)
    \end{pmatrix}
\end{align*}
と表せるので，ヤコビ行列 J は

\begin{align*}
    J &= \begin{pmatrix}
            \frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} \\
            \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2}
    \end{pmatrix} \\
    &= \begin{pmatrix}
        a_{11} & a_{12} \\
        a_{21} & a_{22}
    \end{pmatrix} \\
    &= A^{-1}
\end{align*}
であるから，|J| = |A^{-1}| を式変形すると，

\begin{align*}
    |A^{-1}| = \frac{1}{|A|} \\
    &= \sqrt{\frac{1}{(|A|)^2}} \\
    &= \sqrt{\frac{1}{|A| \cdot |A^\top|}} \quad(\because |P| = |P^\top|) \\
    &= \sqrt{\frac{|\Sigma|}{|A| \cdot |\Sigma| \cdot |A^\top|}} \\
    &= \sqrt{\frac{|\Sigma|}{|A \Sigma A^\top|}} \quad(\because |P||Q| = |PQ|)
\end{align*}
となるので，確率密度関数 f_{\mathbf{Y}}(\mathbf{y}) は

\begin{align*}
    f_{\mathbf{Y}}(\mathbf{y}) &= \frac{1}{2\pi |\Sigma|^{1/2}} \exp\left[ -\frac{1}{2}\{A^{-1}(\mathbf{y} - \mathbf{b}) - \pmb{\mu}\}^\top \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b}) - \pmb{\mu}\} \right] \cdot \sqrt{\frac{|\Sigma|}{|A \Sigma A^\top|}} \\
    &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\}^\top \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\} \right] \\
    &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A^{-1})^\top\} \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\} \right] \\
    &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A^\top)^{-1} \Sigma^{-1} A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu}) \right] \quad(\because (P^\top)^{-1} = (P^{-1})^\top) \\
    &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A \Sigma A^\top)^{-1} (\mathbf{y} - \mathbf{b} - A\pmb{\mu}) \right] \\
    &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{\mathbf{y} - (A\pmb{\mu} + \mathbf{b})\}^\top (A \Sigma A^\top)^{-1} \{\mathbf{y} - (A\pmb{\mu} + \mathbf{b})\} \right]
\end{align*}
となり，これは \mathbf{Y} \sim N(A\pmb{\mu} + \mathbf{b}, A \Sigma A^\top) の確率密度関数である．


② 積率母関数を使って求める
まず，\mathbf{Y} = A\mathbf{X} + \mathbf{b} の積率母関数を考える．

\begin{align*}
    E[e^{\mathbf{t}^\top\mathbf{Y}}] &= E[e^{\mathbf{t}^\top(A\mathbf{X}+\mathbf{b})}] \\
    &= e^{\mathbf{t}^\top\mathbf{b}} E[e^{\mathbf{t}^\top A\mathbf{X}}] \\
    &= e^{\mathbf{t}^\top\mathbf{b}} E[e^{(A^\top\mathbf{t})^\top\mathbf{X}}] \\
\end{align*}
ここで，2変量正規分布の積率母関数を導入すると，

\begin{align*}
    e^{\mathbf{t}^\top\mathbf{b}} E[e^{(A^\top\mathbf{t})^\top\mathbf{X}}] &= \exp(\mathbf{t}^\top\mathbf{b}) \cdot \exp\left\{ \pmb{\mu}^\top(A^\top\mathbf{t}) + \frac{1}{2} (A^\top\mathbf{t})^\top \Sigma (A^\top\mathbf{t}) \right\} \\
    &= \exp\left\{ \pmb{\mu}^\top A^\top\mathbf{t} + \mathbf{b}^\top\mathbf{t} + \frac{1}{2} (A^\top\mathbf{t})^\top \Sigma (A^\top\mathbf{t}) \right\} \quad(\because \mathbf{t}^\top\mathbf{b} はスカラーなので，\mathbf{t}^\top\mathbf{b} = \mathbf{b}^\top\mathbf{t}) \\
    &= \exp\left\{ (A\pmb{\mu})^\top\mathbf{t} + \mathbf{b}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top A\Sigma A^\top\mathbf{t} \right\} \\
    &= \exp\left[ (A\pmb{\mu} + \mathbf{b})^\top\mathbf{t} + \frac{1}{2} \left\{ \mathbf{t}^\top(A \Sigma A^\top)\mathbf{t} \right\} \right] \\
\end{align*}
積率母関数と確率密度関数は1対1に対応するので，式(46)の係数と比較すると，

\mathbf{Y} \sim N(A\pmb{\mu} + \mathbf{b}, A \Sigma A^\top)

参考資料

脚注

確率母関数は， $G(s) = E[s^X]$ と定義され，確率母関数と積率母関数は基本的に同じ母関数である． ↩︎
積率母関数は確率母関数と同じ母関数であるため，離散型確率変数に対しても利用できる． ↩︎
分散も期待値と同様にロピタルの定理を用いて導くことができるが，計算が煩雑になるため割愛する． ↩︎
平面上の点の位置を $(r, \theta)$ で点の位置を表すこと． ↩︎
（長い時間平均すると）時間 $\mu$ あたり $1$ 回起こるランダムなイベントの発生間隔の分布と見ると，平均 $\mu$ の指数分に従い，確率密度関数は $f(x) = \frac{1}{\mu}e^{-\frac{x}{\mu}}$ となる． ↩︎
ガンマ分布のパラメータ $\beta$ はある期間 $\beta$ ごとに平均して $1$ 回起こるという意味のため，指数分布として捉えるために単位時間あたりに直す必要があるので $\frac{1}{\beta}$ と逆数にする必要がある． ↩︎
$\Gamma(k) = (k-1)!$ を用いる． ↩︎
形状母数 $\beta$ が異なるガンマ分布では，再生性が成り立たない． ↩︎
この方法は結局累積分布関数 $F_Y(y)$ を求め，最後に $y$ で微分していることと同じである． ↩︎
$\mu_2 + \rho\sigma_2\frac{x_1 - \mu_1}{\sigma_1}$ と式変形し， $X_2$ の期待値 $\mu_2$ に $X_2$ の相関情報 $\rho\sigma_2$ と $X_1$ を標準化 $\frac{x_1 - \mu_1}{\sigma_1}$ を足すと覚えれば良い． ↩︎
$\frac{|\Sigma|}{\sigma_1^{\,2}}$ の式より，分散共分散行列の行列式 $|\Sigma|$ を $X_1$ の分散 $\sigma_1^{\,2}$ で割ったものと覚えれば良い． ↩︎

Discussion

iamclo

確率分布の変換まとめ。非常に助かります！！！

いくつか間違いかも知れない場所がありましたので報告させていただきます
正規分布の積率母関数、「E[X^2]=M"(0)を用いて分散を求める」の次の行でE[X^2]がE[X]になっています。また、最後がμ^2 + σ^2ではなくμ^2 - σ^2になっています

指数分布 (13)の証明のV[X]で2乗が無いところがあります
ご確認お願いします

DS管理栄養士

ご連絡ありがとうございました，大変助かります！
ご指摘いただいた箇所はすべて修正しました．

ログインするとコメントできます