概要
- 統計検定準1級を受験するにあたって，自身で大事だなと思うpointをまとめており，何個か作っているチートシートのうちの一つです．
- 今回は連続型確率分布の分野に関する記事です．
抑えておく基本事項
積率母関数（モーメント母関数）
定義
積率母関数は確率母関数において s = e^t とおいたものであり，連続型確率変数の場合に用いられることが多い．積率母関数 M(t) は，確率変数 X に対して，t を任意の実数とするとき，X の積率母関数は以下のように定義される．
\begin{align*}
M(t) = E[e^{tX}] = G(e^t)
\end{align*}
使い方
積率母関数 M(t) を微分すると，M^\prime(t) = E[Xe^{tX}]，M^{\prime\prime}(t) = E[X^2e^{tX}] であるが，ここで t=0 を代入すると
\begin{align}
M^\prime(0) = E[X] \\
M^{\prime\prime}(0) = E[X^2]
\end{align}
を得る．これよりXの期待値と分散が
\begin{align*}
& E[X] = M^\prime(0) \\
& V[X] = E[X^2] - (E[X])^2 = M^{\prime\prime}(0) - (M^\prime(0))^2
\end{align*}
のように表される事がわかる．
主な連続型確率分布
連続一様分布
a < b を満たす a, b に対し，確率密度関数
\begin{equation*}
f(x) = \left\{
\begin{gathered}
\frac{1}{b-a} &(a \leq x \leq b)\\
0 &(otherwise)
\end{gathered}
\right.
\end{equation*}
をもつ分布を連続一様分布といい，U(a, b) で表す．
X \sim U(a, b) のとき，平均と分散は
\begin{align}
E[X] &= \frac{a+b}{2} \\
V[X] &= \frac{(b-a)^2}{12}
\end{align}
となる．
(3)の証明
期待値の定義より求める
\begin{align*}
E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
&= \int_{a}^{b} x \cdot \frac{1}{b-a} \, dx \\
&= \frac{1}{b-a} \int_{a}^{b} \left(\frac{1}{2}x^2\right)^\prime \, dx \\
&= \frac{1}{b-a} \left[\frac{1}{2}x^2\right]^b_a \\
&= \frac{b^2 - a^2}{2(b-a)} \\
&= \frac{a+b}{2}
\end{align*}
(4)の証明
E[X^2] を求め，式(9) V[X] = E[X^2] - (E[X])^2 より求める
\begin{align*}
E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\
&= \int_{-\infty}^{\infty} x^2 \cdot \frac{1}{b-a} \, dx \\
&= \frac{1}{b-a} \int_{-\infty}^{\infty} \left(\frac{1}{3}x^3\right)^\prime \, dx \\
&= \frac{1}{b-a} \left[\frac{1}{3}x^3\right]^b_a \\
&= \frac{b^3 - a^3}{3(b-a)} \\
&= \frac{(b-a)(b^2 - ab + a^2)}{3(b-a)} \\
&= \frac{b^2 - ab + a^2}{3} \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \frac{b^2 - ab + a^2}{3} - \left(\frac{a+b}{2}\right)^2 \\
&= \frac{4(b^2 - ab + a^2)}{12} - \frac{3(a^2 + 2ab + b^2)}{12} \\
&= \frac{b^2 -2ab + a^2}{12} \\
&= \frac{(b-a)^2}{12}
\end{align*}
また，積率母関数は以下のようになる．
\begin{align}
M(t) = \frac{e^{bt} - e^{at}}{(b-a)t}, \quad -\infty < t < \infty
\end{align}
積率母関数を使った期待値の計算
E[X] = M^\prime(0) を用いて期待値を求める．
\begin{align*}
E[X] &= M^\prime(0) \\
&= \left.\left(\frac{e^{bt} - e^{at}}{(b-a)t}\right)^\prime\right|_{t=0} \\
&= \left.\frac{(be^{bt} - ae^{at})(b-a)t - (e^{bt} - e^{at})(b-a)}{\{(b-a)t\}^2}\right|_{t=0} \\
&= \left.\frac{(be^{bt} - ae^{at})t - (e^{bt} - e^{at})}{(b-a)t^2}\right|_{t=0} \\
\end{align*}
ロピタルの定理を前述の式に適応させて計算すると，以下のように期待値が導ける．
\begin{align*}
&= \lim_{t \to 0} \frac{\{(b^2e^{bt} - a^2e^{at})t + (be^{bt} - ae^{at})\} - (be^{bt} - ae^{at})}{2(b-a)t} \quad(\because ロピタルの定理)\\
&= \lim_{t \to 0} \frac{(b^2e^{bt} - a^2e^{at})t}{2(b-a)t} \\
&= \lim_{t \to 0} \frac{b^2e^{bt} - a^2e^{at}}{2(b-a)} \\
&= \frac{(b-a)(b+a)}{2(b-a)} \\
&= \frac{a+b}{2}
\end{align*}
(5)の証明
積率母関数の定義より求める．
\begin{align*}
M(t) &= E[e^{tX}] \\
&= \int_{-\infty}^{\infty} e^{tx} f(x) \, dx \\
&= \int_{-\infty}^{a} e^{tx} f(x) \, dx + \int_{b}^{a} e^{tx} f(x) \, dx + \int_{b}^{\infty} e^{tx} f(x) \, dx\\
&= 0 + \int_{b}^{a} e^{tx} f(x) \, dx + 0\\
&= \int_{b}^{a} e^{tx} \cdot \frac{1}{b-a} \, dx \\
&= \frac{1}{(b-a)} \int_{b}^{a} \left(\frac{e^{tx}}{t}\right)^\prime \, dx \\
&= \frac{1}{(b-a)} \left[\frac{e^{tx}}{t}\right]^{b}_{a} \\
&= \frac{e^{bt} - e^{at}}{(b-a)t}
\end{align*}
さらに，連続型一様分布は再生性を持たない．
再生性を持たないことの証明
独立な二つの確率変数を考え X, Y を考える．X \sim U(a, b)，Y \sim U(c, d) にそれぞれ従うとき，X + Y の積率母関数を計算する．この時，積率母関数が同じ形になっていないことを示す．
\begin{align*}
M_{X+Y}(t) &= E[e^{t(X+Y)}] \\
&= E[e^{tX} e^{tY}] \\
&= E[e^{tX}] E[e^{tY}] \quad(\because XとYは独立なため(5)式) \\
&= M_X(t) \cdot M_Y(t) \\
&= \frac{e^{bt} - e^{at}}{(b-a)t} \cdot \frac{e^{dt} - e^{ct}}{(d-c)t} \\
&\neq \frac{e^{(b+d)t} - e^{(a+c)t}}{\{(b+d) - (a+c)\}t}
\end{align*}
正規分布
実数 \mu と \sigma > 0 に対し，確率密度関数
f(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]
をもつ分布を正規分布あるいはガウス分布といい，N \sim (\mu, \sigma^2) で表す．
特に \mu = 0, \sigma^2 = 1 のときの N(0, 1)は，標準正規分布 と呼ばれる．Z \sim N(0, 1) の確率密度関数は \phi(z)，累積分布関数は \Phi(z) で表される．
\begin{align}
\phi(z) &\coloneqq \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \\
\Phi(z) &\coloneqq P(Z \leq z) = \int_{-\infty}^{z} \phi(t) \, dt, \quad Z \sim N(0, 1)
\end{align}
標準正規分布の確率密度関数の導出
X \sim N(\mu, \sigma^2)とし，正規分布の確率密度関数 f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] を用いて，標準正規分布の確率密度関数を導出する．
\begin{align*}
\Phi(z) &= P(Z \leq z) \\
\\
&ここで，Z = \frac{X - \mu}{\sigma}の変数変換を考えると \\
&= P(\frac{X - \mu}{\sigma} \leq z) \\
&= P(X \leq \sigma z + \mu) \\
&= F_X(\sigma z + \mu) \\
\\
&ここで，確率密度関数と累積分布関数の関係 f(x) = \frac{d}{dx} \int_{-\infty}^{x} f(t) \, dt を計算すれば良く \\
\phi(z) &= \frac{d}{dz} F_X(\sigma z + \mu) \\
&= F_X^\prime(\sigma z + \mu) \times \sigma \\
&= f_X(\sigma z + \mu) \times \sigma \\
&= \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{(\sigma z + \mu)-\mu\}^2}{2\sigma^2}\right] \cdot \sigma \\
&= \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{z^2}{2}\right)
\end{align*}
(6)が確率密度関数になることの証明
変数変換を用いた重積分を使って証明する
f(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) は標準正規分布 N(0, 1^2) の確率密度関数である．
I = \int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx
とおく，これより，
\begin{align*}
I^2 &= \left\{\int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx \right\} \left\{\int_{-\infty}^{\infty} exp\left(-\frac{y^2}{2}\right) \, dy \right\} \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \exp\left(-\frac{x^2 + y^2}{2}\right) \, dxdy
\end{align*}
の重積分を考える．x = rcos\theta, y = rsin\theta と変換（これを極座標変換と呼ぶ）すると，x: -\infty \to \infty，y: -\infty \to \infty のとき r: 0 \to \infty，\theta: 0 \to 2\pi となる．また，ヤコビアンは
J =
\begin{vmatrix}
\frac{\partial x}{\partial r} & \frac{\partial x}{\partial \theta} \\
\frac{\partial y}{\partial r} & \frac{\partial y}{\partial \theta}
\end{vmatrix}
= \begin{vmatrix}
cos\theta & -r sin\theta \\
sin \theta & r cos\theta
\end{vmatrix}
= rcos^2\theta + rsin^2\theta = r
である．これらより，
\begin{align*}
I^2 &= \int_{0}^{\pi} \int_{0}^{\infty} \exp\left(-\frac{(rcos\theta)^2 + (rsin\theta)^2}{2}\right) |J| \, drd\theta \\
&= \int_{0}^{2\pi} \left\{\int_{0}^{\infty} \exp\left(-\frac{r^2}{2}\right) \, rdr\right\} \, d\theta \\
&= \int_{0}^{2\pi} \left[-\exp\left(-\frac{r^2}{2}\right) \right]_{0}^{\infty} \, d\theta \\
&= \int_{0}^{2\pi} \left[0 - (-1) \right] \, d\theta \\
&= \int_{0}^{2\pi} 1 \, d\theta \\
&= 2\pi
\end{align*}
を得る．これより，I = \sqrt{2\pi} であるから，
\begin{align*}
& \sqrt{2\pi} = \int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx \\
\Leftrightarrow & \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) \, dx = 1
\end{align*}
X \sim N(\mu, \sigma^2) のとき，平均と分散は
\begin{align}
E[X] &= \mu \\
V[X] &= \sigma^2
\end{align}
となる．
(8)の証明
①期待値の定義から求める
\begin{align*}
E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
&= \int_{-\infty}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} (x - \mu + \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right]\, dx \\
&= \int_{-\infty}^{\infty} (x - \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[- \frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + \int_{-\infty}^{\infty} \mu \frac{1}{\sqrt{2\pi}\sigma} \exp\left[- \frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} \left(\frac{x - \mu}{\sigma}\right) \frac{1}{\sqrt{2\pi}} \exp\left[-\frac{1}{2} \left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} \left(\frac{x - \mu}{\sigma}\right) \frac{1}{\sqrt{2\pi}} \exp\left[-\frac{1}{2} \left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu \\
\\
&ここで y = \frac{x - \mu}{\sigma}とおくと，\frac{dy}{dx} = \frac{1}{\sigma} \Leftrightarrow dx = \sigma dy \\
&= \int_{-\infty}^{\infty} y \cdot \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{1}{2} y^2 \right) \, \sigma dy + \mu \\
&= \frac{\sigma}{\sqrt{2\pi}} \int_{-\infty}^{\infty} y \cdot \exp\left(-\frac{1}{2} y^2 \right) \, dy + \mu \\
&= 0 + \mu \quad(\because y \cdot e^{-\frac{1}{2} y^2} は奇関数であるから) \\
&= \mu
\end{align*}
②標準正規分布の期待値から求める
確率変数 X が標準正規分布 N(0, 1) に従うとする．このとき Y = \sigma X + \mu と変換すると正規分布 N(\mu, \sigma^2) に従うことから
\begin{align*}
E[Y] &= E[\sigma X + \mu] \\
&= \sigma E[X] + \mu \\
&= \sigma \cdot 0 + \mu \\
&= \mu
\end{align*}
(9)の証明
① E[X^2] を求め，式(9) V[X] = E[X^2] - (E[X])^2 より求める
\begin{align*}
E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\
&= \int_{-\infty}^{\infty} x^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} \{(x-\mu)^2 + 2\mu x - \mu^2\} \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + \int_{-\infty}^{\infty} 2\mu x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx - \int_{-\infty}^{\infty} \mu^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + 2\mu \int_{-\infty}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx - \mu^2 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + 2\mu \cdot \mu - \mu^2 \cdot 1 \\
&= \int_{-\infty}^{\infty} \left(\frac{x-\mu}{\sigma}\right)^2 \cdot \frac{\sigma}{\sqrt{2\pi}} \exp\left[-\frac{1}{2}\left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu^2 \\
\\
&ここで y = \frac{x - \mu}{\sigma}とおくと，\frac{dy}{dx} = \frac{1}{\sigma} \Leftrightarrow dx = \sigma dy \\
&= \int_{-\infty}^{\infty} y^2 \cdot \frac{\sigma}{\sqrt{2\pi}} \exp\left(-\frac{y^2}{2}\right) \, \sigma dy + \mu^2 \\
&= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} y^2 \cdot \exp\left(-\frac{y^2}{2}\right) \, dy + \mu^2 \\
&= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} -y \cdot \left(-y e^{-\frac{y^2}{2}}\right) \, dy + \mu^2 \\
&= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} -y \cdot \left(e^{-\frac{y^2}{2}}\right)^\prime \, dy + \mu^2 \\
&= \frac{\sigma^2}{\sqrt{2\pi}}\left\{\left[-y \cdot e^{-\frac{y^2}{2}}\right]^{-\infty}_{\infty} - \int_{-\infty}^{\infty} -1 \cdot e^{-\frac{y^2}{2}} \, dy\right\} + \mu^2 \\
&= 0 + \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{y^2}{2}} \, dy + \mu^2 \\
&= \sigma^2 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{y^2}{2}} \, dy + \mu^2 \\
&= \sigma^2 \times 1 + \mu^2 \quad(\because 標準正規分布の確率密度関数であるから，\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{y^2}{2}} \, dy = 1) \\
&= \sigma^2 + \mu^2 \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \sigma^2 + \mu^2 - \mu^2 \\
&= \sigma^2
\end{align*}
②標準正規分布の分散から求める
確率変数 X が標準正規分布 N(0, 1) に従うとする．このとき Y = \sigma X + \mu と変換すると正規分布 N(\mu, \sigma^2) に従うことから
\begin{align*}
V[Y] &= V[\sigma X + \mu] \\
&= \sigma^2 V[X] \\
&= \sigma^2 \cdot 1 \\
&= \sigma^2
\end{align*}
また，積率母関数は以下のようになる．
\begin{align}
M(t) = \exp\left(\mu t + \frac{1}{2}\sigma^2 t^2 \right), \quad -\infty < t < \infty
\end{align}
積率母関数を使った期待値と分散の計算
E[X] = M^\prime(0) を用いて期待値を求める．
\begin{align*}
E[X] &= M^\prime(0) \\
&= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right)\right\}^\prime\right|_{t=0} \\
&= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot (\mu + \sigma^2 t) \right\}\right|_{t=0} \\
&= \exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot (\mu + \sigma^2 \cdot 0)\\
&= \exp(0) \cdot \mu \\
&= \mu
\end{align*}
E[X^2] = M^{\prime\prime}(0) を用いて分散を求める．
\begin{align*}
E[X^2] &= M^{\prime\prime}(0) \\
&= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right)\right\}^{\prime\prime}\right|_{t=0} \\
&= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot (\mu + \sigma^2 t)^2 + exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot \sigma^2 \right\}\right|_{t=0} \\
&= \exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot (\mu + \sigma^2 \cdot 0)^2 + exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot \sigma^2 \\
&= \exp(0) \cdot \mu^2 + exp(0) \sigma^2 \\
&= \mu^2 + \sigma^2 \\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= (\mu^2 + \sigma^2) - \mu^2 \\
&= \sigma^2
\end{align*}
(10)の証明
積率母関数の定義より求める．
\begin{align*}
M(t) &= E[e^{tX}] \\
&= \int_{-\infty}^{\infty} e^{tx} f(x) \, dx \\
&= \int_{-\infty}^{\infty} e^{tx} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{x^2 - 2\mu x - 2\sigma^2tx + \mu^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{x^2 - 2(\mu + \sigma^2t)x + \mu^2}{2\sigma^2}\right] \, dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2 - (\mu + \sigma^2t)^2 + \mu^2}{2\sigma^2}\right] \, dx \\
&= \exp\left(-\frac{-(\mu + \sigma^2t)^2 + \mu^2}{2\sigma^2}\right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2}{2\sigma^2}\right] \, dx \\
&= \exp\left(\frac{2\mu\sigma^2t + \sigma^4t^2}{2\sigma^2}\right) \quad(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2}{2\sigma^2}\right] \, dx = 1) \\
&= \exp\left(\mu t + \frac{1}{2} \sigma^2t^2 \right)
\end{align*}
さらに，正規分布には，再生性とよばれる次の性質がある．X_1 \sim N(\mu_1, \sigma_1^{\, 2})，X_1 \sim N(\mu_2, \sigma_2^{\, 2})で，X_1 と X_2 が独立ならば，X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^{\, 2} + \sigma_2^{\, 2}) となる．
再生成を持つことの証明
独立な二つの確率変数 X_1, X_2 を考える．X_1 \sim N(\mu_1, \sigma_1^{\, 2})，X_2 \sim N(\mu_2, \sigma_2^{\, 2}) にそれぞれ従うとき，X_1 + X_2 の積率母関数を計算する．この時，積率母関数が同じ形になっていることを示す．
\begin{align*}
M_{X_1+X_2} &= E[e^{t(X_1 + X_2)}] \\
&= E[e^{tX_1}e^{tX_2}] \\
&= E[e^{tX_1}e^{tX_2}] \\
&= E[e^{tX_1}]E[e^{tX_2}] \\
&= \exp\left(\mu_1 t + \frac{1}{2} \sigma_1^{\, 2}t^2 \right) \cdot \exp\left(\mu_2 t + \frac{1}{2} \sigma_2^{\, 2}t^2 \right) \\
&= \exp\left((\mu_1+\mu_2)t + \frac{1}{2} (\sigma_1^{\, 2} + \sigma_2^{\, 2})t^2 \right)
\end{align*}
指数分布
ある期間（単位時間）あたりに平均して \lambda (\lambda > 0) 回起こる現象が，次に起こるまでの期間を X とする．このとき X の従う分布を指数分布といい，確率密度関数は
\begin{equation*}
f(x) = \left\{
\begin{gathered}
\lambda e^{-\lambda x} &(x > 0)\\
0 &(x \leq 0)
\end{gathered}
\right.
\end{equation*}
となり，Exp(\lambda) で表す．ランダムなイベントの発生間隔を表す分布であり， 例えば「地震が起きる間隔」や「電球の寿命」は（おおよそ）指数分布に従うと言われている．
X \sim Exp(\lambda) の累積分布関数は，
\begin{align}
F(x) = P(X \leq x) = 1 - e^{-\lambda x}, \quad x > 0
\end{align}
と明示的に書ける．
(11)の証明
累積分布関数の定義から求める
\begin{align*}
F(x) &= P(X \leq x) \\
&= \int_{-\infty}^{x} f(t) \, dt \\
&= \int_{0}^{x} \lambda e^{-\lambda t} \, dt \\
&= \int_{0}^{x} (-e^{-\lambda t})^\prime \, dt \\
&= \left[-e^{-\lambda t}\right]_{0}^{x} \\
&= -e^{-\lambda x} - (-e^0) \\
&= 1 - e^{-\lambda x}
\end{align*}
他の分布との関連を以下の表にまとめる．
| 分布一覧 |
指数分布との関係 |
| ポアソン分布 |
ポアソン分布はある期間に起こる回数に関する分布であり，指数分布は次に起こるまでの期間に関する分布である． |
| 幾何分布 |
幾何分布は，指数分布の離散バージョンである． |
| ガンマ分布 |
ガンマ分布は指数分布の一般化であり，指数分布はガンマ分布のパラメータ 形状母数 \alpha を 1 としたもの． |
X \sim Exp(\lambda) のとき，平均と分散は
\begin{align}
E[X] &= \frac{1}{\lambda} \\
V[X] &= \frac{1}{\lambda^2}
\end{align}
となる．
(12)の証明
期待値の定義から求める
\begin{align*}
E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
&= \int_{0}^{\infty} x \cdot \lambda e^{-\lambda x} \, dx \\
&= \int_{0}^{\infty} x \cdot (-e^{-\lambda x})^\prime \, dx \\
&= \left[x(-e^{-\lambda x}) \right]_{0}^{\infty} - \int_{0}^{\infty} -e^{-\lambda x} \, dx \\
&= \left[-e^{-\lambda x}x \right]_{0}^{\infty} + \frac{1}{\lambda} \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx \\
&= 0 - 0 + \frac{1}{\lambda} \quad(\because \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx = 1) \\
&= \frac{1}{\lambda}
\end{align*}
(13)の証明
E[X^2] を求め，式(9) V[X] = E[X^2] - (E[X])^2 より求める
\begin{align*}
E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\
&= \int_{0}^{\infty} x^2 \cdot \lambda e^{-\lambda x} \, dx \\
&= \int_{0}^{\infty} x^2 \cdot (-e^{-\lambda x})^\prime \, dx \\
&= \left[x^2(-e^{-\lambda x}) \right]_{0}^{\infty} - \int_{0}^{\infty} -2xe^{-\lambda x} \, dx \\
&= \left[-e^{-\lambda x}x^2 \right]_{0}^{\infty} - \int_{0}^{\infty} \frac{2x}{\lambda} \cdot (e^{-\lambda x})^\prime \, dx \\
&= 0 - 0 - \left[\frac{2x}{\lambda}(-e^{-\lambda x}) \right]_{0}^{\infty} + \int_{0}^{\infty} \frac{2}{\lambda} \cdot e^{-\lambda x} \, dx \\
&= - (0 - 0) + \frac{2}{\lambda^2} \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx \\
&= \frac{2}{\lambda^2} \quad(\because \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx = 1) \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 \\
&= \frac{1}{\lambda^2}
\end{align*}
また，積率母関数は以下のようになる．
\begin{align}
M(t) = \frac{\lambda}{\lambda - t} = \left(1 - \frac{1}{\lambda}t\right)^{-1}, \quad t < \lambda
\end{align}
積率母関数を使った期待値と分散の計算
E[X] = M^\prime(0) を用いて期待値を求める．
\begin{align*}
E[X] &= M^\prime(0) \\
&= \left.\left\{\left(1 - \frac{1}{\lambda}t\right)^{-1} \right\}^\prime\right|_{t=0} \\
&= \left.\left\{-1 \left(1 - \frac{1}{\lambda}t\right)^{-2} \cdot -\frac{1}{\lambda} \right\}\right|_{t=0} \\
&= \left\{\left(1 - \frac{1}{\lambda} \cdot 0\right)^{-2} \cdot \frac{1}{\lambda} \right\} \\
&= \frac{1}{\lambda}
\end{align*}
E[X^2] = M^{\prime\prime}(0) を用いて分散を求める．
\begin{align*}
E[X^2] &= M^{\prime\prime}(0) \\
&= \left.\left\{\left(1 - \frac{1}{\lambda}t\right)^{-1} \right\}^{\prime\prime}\right|_{t=0} \\
&= \left.\left\{2 \left(1 - \frac{1}{\lambda}t\right)^{-3} \cdot \left(-\frac{1}{\lambda}\right)^2\right\}\right|_{t=0} \\
&= \left\{2 \left(1 - \frac{1}{\lambda} \cdot 0\right)^{-3} \cdot \left(-\frac{1}{\lambda}\right)^2\right\} \\
&= \frac{2}{\lambda^2} \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 \\
&= \frac{1}{\lambda^2}
\end{align*}
(14)の証明
積率母関数の定義より求める．
\begin{align*}
M(t) &= E[e^{tX}] \\
&= \int_{0}^{\infty} e^{tx} f(x) \, dx \\
&= \int_{0}^{\infty} e^{tx} \lambda e^{-\lambda x} \, dx \\
&= \int_{0}^{\infty} \lambda e^{(-\lambda + t)x} \, dx \\
&= \int_{0}^{\infty} \lambda \cdot \frac{\lambda - t}{\lambda - t} e^{-(\lambda - t)x} \, dx \\
&= \frac{\lambda}{\lambda - t} \int_{0}^{\infty} (\lambda - t) e^{-(\lambda - t)x} \, dx \\
&= \frac{\lambda}{\lambda - t} \quad(\because \int_{0}^{\infty} (\lambda - t) e^{-(\lambda - t)x} \, dx = 1) \\
&= \left(1 - \frac{1}{\lambda}t\right)^{-1}
\end{align*}
さらに，指数分布の無記憶性と呼ばれる性質として，X \sim Exp(\lambda) のとき
\begin{align}
P(X \geq t_1 + t_2 | X \geq t_1) = P(X \geq t_2), \quad t_1, t_2 \geq 0
\end{align}
が成り立つ．
(15)の証明
t\geq0 に対して P(X \geq t) = 1 - F(t) = e^{-\lambda t} となるため，t_1, t_2 \geq 0 に対して P(X \geq t_1 + t_2 | X \geq t_1) = e^{-\lambda(t_1 + t_2)} / e^{-\lambda t_1} = e^{-\lambda t_2} = P(X \geq t_2) となることからわかる．
ガンマ分布
ある期間 \beta ごとに平均して 1 回起こる現象が，\alpha 回起きるまでの期間（時間）を X とする．このとき X の従う分布を，形状母数 \alpha，尺度母数 \betaの ガンマ分布といい，確率密度関数は
\begin{equation*}
f(x) = \left\{
\begin{gathered}
\frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} &(x > 0)\\
0 &(x \leq 0)
\end{gathered}
\right.
\end{equation*}
となり，Ga(\alpha, \beta) で表す．ここで，\Gamma(\alpha) はガンマ関数
\begin{align}
\Gamma(\alpha) \coloneqq \int_{0}^{\infty} x^{\alpha-1} e^{-x} \, dx, \quad \alpha > 0
\end{align}
を表す．特に \alpha = 1 の場合のガンマ分布 Ga(1, \beta) は，\lambda = 1/\beta とした指数分布 Exp(1/\beta) である．
α=1 の場合のガンマ分布が指数分布になることの証明
ガンマ分布の確率密度関数の形状母数 \alpha に 1 を代入して求める
\begin{align*}
f(x) &= \frac{1}{\Gamma(1)\beta^1} x^{1 - 1} e^{-\frac{x}{\beta}} \\
&= \frac{1}{0!\beta} x^0 e^{-\frac{x}{\beta}} \quad(\because \Gamma(1) = (1-1)! = 0!) \\
&= \frac{1}{\beta} e^{-\frac{x}{\beta}}
\end{align*}
この式は，パラメータ 1/\beta である指数分布の確率密度関数に一致する．
ガンマ分布が確率密度関数になることの証明
全確率が 1 になることを示す
\begin{align*}
\int_{0}^{\infty} f(x) \, dx &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\
&= \frac{1}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx
\end{align*}
ここで，\frac{x}{\beta} = t という置換積分を行う．
すると，dx = \beta dt となるので，次のように変形できる．
\begin{align*}
&= \frac{1}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} (\beta t)^{\alpha-1} e^{-t} (\beta dt) \\
&= \frac{\beta^{\alpha}}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} t^{\alpha-1} e^{-t} \, dt \\
&= \frac{\beta^{\alpha}}{\Gamma(\alpha)\beta^{\alpha}} \cdot \Gamma(\alpha) \quad(\because (29)) \\
&= 1
\end{align*}
X \sim Ga(\alpha, \beta) のとき，平均と分散は
\begin{align}
E[X] &= \alpha\beta \\
V[X] &= \alpha\beta^2
\end{align}
となる．
(17)の証明
①期待値の定義から求める
\begin{align*}
E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
&= \int_{0}^{\infty} x \cdot \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\
&= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \\
&= \int_{0}^{\infty} \alpha\beta\frac{1}{\alpha\Gamma(\alpha)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \\
&= \alpha\beta \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+1)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \quad(\because \Gamma(\alpha+1) = \alpha\Gamma(\alpha)) \\
&= \alpha\beta \quad\left(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+1)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx = 1\right)
\end{align*}
②指数分布から考える
X_1, X_2, \dots, X_n が互いに独立に指数分布 Exp(\lambda) に従う時，Y = X_1 + X_2 + \cdots + X_n がパラメータが (n, 1/\lambda) のガンマ分布に従うので，
\begin{align*}
E[Y] &= E[X_1 + X_2 + \cdots + X_n] \\
&= E[X_1] + E[X_2] + \cdots + E[X_n] \\
&= nE[X_1] \\
&= \frac{n}{\lambda} \quad(\because 指数分布の期待値は 1/\lambda) \\
&= \alpha\beta \quad(\because n=\alpha, 1/\lambda = \betaと置き換えた)
\end{align*}
(18)の証明
① E[X^2] を求め，式(9) V[X] = E[X^2] - (E[X])^2 より求める
\begin{align*}
E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\
&= \int_{0}^{\infty} x^2 \cdot \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\
&= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \\
&= \int_{0}^{\infty} (\alpha+1)\alpha\beta^2 \frac{1}{(\alpha+1)\alpha\Gamma(\alpha)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \\
&= (\alpha+1)\alpha\beta^2 \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+2)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \quad(\because \Gamma(\alpha+2) = (\alpha+1)\Gamma(\alpha+1) = (\alpha+1)\alpha\Gamma(\alpha)) \\
&= (\alpha+1)\alpha\beta^2 \quad\left(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+2)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx = 1 \right) \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= (\alpha+1)\alpha\beta^2 - (\alpha\beta)^2 \\
&= \alpha\beta^2
\end{align*}
②指数分布から考える
X_1, X_2, \dots, X_n が互いに独立にの指数分布 Exp(\lambda) に従う時，Y = X_1 + X_2 + \cdots + X_n がパラメータが (n, 1/\lambda) のガンマ分布に従うので，
\begin{align*}
V[Y] &= V[X_1 + X_2 + \cdots + X_n] \\
&= V[X_1] + V[X_2] + \cdots + V[X_n] \quad(\because X_1, X_2, \dots, X_nは独立) \\
&= nV[X_1] \\
&= n\frac{1}{\lambda^2} \quad(\because 指数分布の分散は 1/\lambda^2) \\
&= \alpha\beta^2 \quad(\because n=\alpha, 1/\lambda = \betaと置き換えた)
\end{align*}
また，積率母関数は以下のようになる．
\begin{align}
M(t) = (1 - \beta t)^{-\alpha}, \quad t < \frac{1}{\beta}
\end{align}
積率母関数を使った期待値と分散の計算
E[X]=M^\prime(0) を用いて期待値を求める．
\begin{align*}
E[X] &= M^\prime(0) \\
&= \left.\left\{(1 - \beta t)^{-\alpha} \right\}^{\prime}\right|_{t=0} \\
&= \left.\left\{(-\alpha)(1 - \beta t)^{-\alpha-1} \cdot (-\beta) \right\}^{\prime}\right|_{t=0} \\
&= \left.\left\{\alpha\beta (1 - \beta t)^{-\alpha-1} \right\}^{\prime}\right|_{t=0} \\
&= \alpha\beta
\end{align*}
E[X^2]=M^{\prime\prime}(0) を用いて期待値を求める．
\begin{align*}
E[X^2] &= M^{\prime\prime}(0) \\
&= \left.\left\{(1 - \beta t)^{-\alpha} \right\}^{\prime\prime}\right|_{t=0} \\
&= \left.\left\{\alpha\beta(-\alpha-1)(1 - \beta t)^{-\alpha-2} \cdot (-\beta) \right\}^{\prime\prime}\right|_{t=0} \\
&= \left.\left\{\alpha(\alpha+1)\beta^2 (1 - \beta t)^{-\alpha-2} \right\}^{\prime\prime}\right|_{t=0} \\
&= \alpha(\alpha+1)\beta^2 \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \alpha(\alpha+1)\beta^2 - (\alpha\beta)^2 \\
&= \alpha\beta^2
\end{align*}
(19)の証明
積率母関数の定義より求める．
\begin{align*}
M(t) &= E[e^{tX}] \\
&= \int_{0}^{\infty} e^{tx} f(x) \, dx \\
&= \int_{0}^{\infty} e^{tx} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\
&= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} \, dx \\
&= (1- \beta t)^{-\alpha} \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\left(\frac{\beta}{1-\beta t}\right)^\alpha} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} \, dx \\
&= (1- \beta t)^{-\alpha} \quad(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\left(\frac{\beta}{1-\beta t}\right)^\alpha} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} = 1)
\end{align*}
さらに，ガンマ分布には，再生性とよばれる次の性質がある．X_1 \sim Ga(\alpha_1, \beta)，X_1 \sim Ga(\alpha_2, \beta)で，X_1 と X_2 が独立ならば，X_1 + X_2 \sim Ga(\alpha_1 + \alpha_2, \beta) となる．
再生成を持つことの証明
独立な二つの確率変数 X_1, X_2 を考える．X_1 \sim Ga(\alpha_1, \beta)，X_1 \sim Ga(\alpha_2, \beta) にそれぞれ従うとき，X_1 + X_2 の積率母関数を計算する．この時，積率母関数が同じ形になっていることを示す．
\begin{align*}
M_{X_1+X_2} &= E[e^{t(X_1 + X_2)}] \\
&= E[e^{tX_1}e^{tX_2}] \\
&= E[e^{tX_1}e^{tX_2}] \\
&= E[e^{tX_1}]E[e^{tX_2}] \\
&= (1 - \beta t)^{-\alpha_1} (1 - \beta t)^{-\alpha_2} \\
&= (1 - \beta t)^{-(\alpha_1+\alpha_2)}
\end{align*}
ベータ分布
ある試行について，成功数が m 回，失敗回数が n 回としたときに，成功する確率を X とする．このとき区間 (0, 1) の X の従う分布を，パラメータ (\alpha, \beta) = (m+1, n+1) の ベータ分布といい，確率密度関数は
f(x) = \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}, \quad 0 < x < 1
となり，Be(\alpha, \beta) で表す．ここで，B(\alpha, \beta) はベータ関数
B(\alpha, \beta) \coloneqq \int_{0}^{1} x^{\alpha-1} (1-x)^{\beta-1} \, dx, \quad \alpha>0, \beta>0
を表す．ベータ分布はガンマ分布から得ることができる．
ガンマ分布からベータ分布を導けることの証明
2つの独立な確率変数 X_1 \sim Ga(\alpha_1, \beta)，X_2 \sim Ga(\alpha_2, \beta) に対し， U = X_1 / (X_1+X_2) の従う分布を求める
U = X_1 / (X_1+X_2)，V = X_1 + X_2 の変数変換を考えると，逆変換は
\begin{equation*}
\left\{
\begin{aligned}
& u = \frac{x_1}{x_1 + x_2} \\
& v = x_1 + x_2
\end{aligned}
\right. \\
\\
\Leftrightarrow \left\{
\begin{aligned}
& x_1 = uv \\
& x_2 = (1 - u)v
\end{aligned}
\right. \\
\end{equation*}
となり，ヤコビアンは
J((u, v) \rightarrow (x_1, x_2)) = det \begin{pmatrix} \frac{\partial x_1}{\partial u} & \frac{\partial x_1}{\partial v} \\ \frac{\partial x_2}{\partial u} & \frac{\partial x_2}{\partial v} \end{pmatrix} = det \begin{pmatrix} v & u \\ -v & 1 - u \end{pmatrix} = v(1 - u) - u(-v) = v
となる．したがって，(U, V) の同時確率密度関数は
\begin{align*}
f_{U, V}(u, v) &= f_{X_1}(uv) f_{X_2}((1 - u)v)z \\
&= \left( \frac{1}{\Gamma(\alpha_1)\beta^{\alpha_1}} (uv)^{\alpha_1 - 1} e^{-\frac{uv}{\beta}} \right) \left( \frac{1}{\Gamma(\alpha_2)\beta^{\alpha_2}} \{(1-u)v\}^{\alpha_2 - 1} e^{-\frac{(1-u)v}{\beta}} \right) v \\
&= \left( \frac{\Gamma(\alpha_1 + \alpha_2)}{\Gamma(\alpha_1)\Gamma(\alpha_2)} u^{\alpha_1 - 1} (1 - u)^{\alpha_2} \right) \left( \frac{1}{\Gamma(\alpha_1 + \alpha_2) \beta^{\alpha_1 + \alpha_2}} v^{(\alpha_1 + \alpha_2) - 1} e^{-\frac{v}{\beta}} \right) \\
&= \left( \frac{1}{B(\alpha_1, \alpha2)} u^{\alpha_1 - 1} (1 - u)^{\alpha_2} \right) \left( \frac{1}{\Gamma(\alpha_1 + \alpha_2) \beta^{\alpha_1 + \alpha_2}} v^{(\alpha_1 + \alpha_2) - 1} e^{-\frac{v}{\beta}} \right) \quad(\because ベータ関数の定義) \\
&= f(u)f(v)
\end{align*}
となることから，U は Be(\alpha_1, \alpha_2) に従うことが示された．
X \sim Be(\alpha, \beta) のとき，平均と分散は
\begin{align}
E[X] &= \frac{\alpha}{\alpha + \beta} \\
V[X] &= \frac{\alpha\beta}{(\alpha+\beta)^2 (\alpha+\beta+1)}
\end{align}
(20)の証明
期待値の定義から求める
\begin{align*}
E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
&= \int_{0}^{1} x \cdot \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1} \, dx \\
&= \frac{1}{B(\alpha, \beta)} \int_{0}^{1} x^{(\alpha+1)-1}(1-x)^{\beta-1} \, dx \\
&= \frac{1}{B(\alpha, \beta)} \cdot B(\alpha+1, \beta) \quad(\because ベータ関数の定義) \\
&= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta + 1)} \\
&= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta) \Gamma(\alpha+\beta)} \\
&= \frac{\alpha}{\alpha + \beta}
\end{align*}
(21)の証明
E[X^2] を求め，式(9) V[X] = E[X^2] - (E[X])^2 より求める
\begin{align*}
E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\
&= \int_{0}^{1} x^2 \cdot \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1} \, dx \\
&= \frac{1}{B(\alpha, \beta)} \int_{0}^{1} x^{(\alpha+2)-1}(1-x)^{\beta-1} \, dx \\
&= \frac{1}{B(\alpha, \beta)} \cdot B(\alpha+2, \beta) \\
&= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\Gamma(\alpha+2)\Gamma(\beta)}{\Gamma(\alpha+\beta + 2)} \\
&= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{(\alpha+1)\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta+1)(\alpha+\beta)\Gamma(\alpha+\beta)} \\
&= \frac{(\alpha+2)(\alpha+1)}{(\alpha+\beta+1)(\alpha+\beta)} \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \frac{(\alpha+1)\alpha}{(\alpha+\beta+1)(\alpha+\beta)} - \left(\frac{\alpha}{\alpha + \beta}\right)^2 \\
&= \frac{(\alpha+1)\alpha(\alpha+\beta)}{(\alpha+\beta)^2(\alpha+\beta+1)} - \frac{\alpha^2(\alpha+\beta+1)}{(\alpha+\beta)^2(\alpha+\beta+1)} \\
&= \frac{\alpha\{(\alpha^2 + \alpha\beta + \alpha + \beta) - (\alpha^2 + \alpha\beta + \alpha)\}}{(\alpha+\beta)^2(\alpha+\beta+1)} \\
&= \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}
\end{align*}
標準コーシー分布
標準コーシー分布は裾が重い分布であり，平均やより高次のモーメントが存在しない．確率密度関数は
\begin{align}
f(x) = \frac{1}{\pi(1+x^2)}
\end{align}
となり，原点に関して対称ではあるが，0 は平均ではない．
標準コーシー分布は一様分布から導けることの証明
確率変数X が区間 -\frac{\pi}{2} < X < \frac{\pi}{2} において，一様分布に従うとき，Y = \tan X の従う分布を求める
Y = \tan X の変数変換を考えると，逆変換は
となり，これを y で微分すると，
\frac{d}{dy}g^{-1}(y) = \frac{1}{1+y^2}
となる．また，f_X(x) = \frac{1}{\pi} であるから，
f_X(g^{-1}(y)) = \frac{1}{\pi}
となる．したがって，Y の確率密度関数は
\begin{align*}
f_Y(y) &= f_X(g^{-1}(y)) |\frac{d}{dy}g^{-1}(y)| \\
&= \frac{1}{\pi} \cdot \frac{1}{1+y^2} \\
&= \frac{1}{\pi(1+y^2)}
\end{align*}
となることから，Y は標準コーシー分布に従うことが示された．
標準コーシー分布は期待値を持たないことの証明
期待値の定義通りに計算し，確かめる
\begin{align*}
E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
&= \int_{-\infty}^{\infty} x \cdot \frac{1}{\pi(1+x^2)} \, dx \\
&= \frac{1}{\pi} \int_{-\infty}^{\infty} \left(\frac{1}{2}\log(1+x^2) \right)^\prime \, dx \\
&= \frac{1}{\pi} \left[\frac{1}{2}\log(1+x^2)\right]_{-\infty}^{\infty} \\
&= \frac{1}{\pi} \left\{ \lim_{b\to\infty}\frac{1}{2}\log(1+b^2) - \lim_{a\to-\infty}\frac{1}{2}\log(1+a^2) \right\} \\
&= \infty - \infty
\end{align*}
と計算され，積分が収束せずに定義されない．
より一般に，位置母数 \mu と尺度母数 \sigma > 0 を導入し，式 (35) の f(x) に対して
\begin{align}
\frac{1}{\sigma}f(\frac{x-\mu}{\sigma}) = \frac{1}{\pi\sigma\left(1 + (\frac{x-\mu}{\sigma})^{2}\right)}
\end{align}
を確率密度関数とする分布を一般にコーシー分布という．
対数正規分布
Y \sim N(\mu, \sigma^2) のとき，X = e^Y(>0)は，確率密度関数
\begin{align}
f(x) = \frac{1}{\sqrt{2\pi}\sigma x} exp(-\frac{(\log x - \mu)^2}{2\sigma^2}), \quad x > 0
\end{align}
をもつ分布に従う．この確率密度関数をもつ分布を対数正規分布といい，\Lambda(\mu, \sigma^2) で表す．X \sim \Lambda(\mu, \sigma^2)のとき，\log X \sim N(\mu, \sigma^2) である．
対数正規分布の導出
X \sim N(\mu, \sigma^2) とし，正規分布の確率密度関数 f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] を用いて，対数正規分布の確率密度関数を導出する．
\begin{align*}
F_Z(z) &= P(Z \leq z) \\
\\
&ここで， Z = e^X の変数変換を考えると
\\
&= P(e^X\leq z) \\
&= P(X \leq \log z) \\
&= F_X(\log z) \\
\\
&ここで，確率密度関数と累積分布関数の関係 f(x) = \frac{d}{dx} \int_{-\infty}^{x} f(t) \, dt を計算すれば良く \\
f_Z(z) &= \frac{d}{dz} F_X(\log z) \\
&= F_X^{\prime}(\log z) \times \frac{1}{z} \\
&= f_X(\log z) \times \frac{1}{z} \\
&= \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(\log z - \mu)^2}{2\sigma^2}\right] \times \frac{1}{z} \\
&= \frac{1}{\sqrt{2\pi}\sigma z} exp\left[-\frac{(\log z - \mu)^2}{2\sigma^2}\right]
\end{align*}
X \sim \Lambda(\mu, \sigma^2) のとき，平均と分散は
\begin{align}
E[X] &= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \\
V[X] &= \exp(2\mu+\sigma^2)(\exp(\sigma^2)-1)
\end{align}
(25)の証明
①期待値の定義から求める
\begin{align*}
E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\
&= \int_{0}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma x} \exp\left[-\frac{(\log x - \mu)^2}{2\sigma^2}\right] \, dx \\
&= \int_{0}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp(-\frac{(\log x - \mu)^2}{2\sigma^2}) \, dx \\
\\
&ここで，\log x - \mu = t とおくと，x が 0 から \infty へ動くときは，t は -\infty から \infty へ動くこと，\\
&また，x = e^{t + \mu}なので，dx = e^{t + \mu} dtで あるから \log x - \mu = t の置換積分を行うと \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{t^2}{2\sigma^2}\right] \, e^{t + \mu} dt \\
&= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2} + t \right] \, dt \\
&= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t-2\sigma^2}{2\sigma^2}\right] \, dt \\
&= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2} + \frac{\sigma^4}{2\sigma^2}\right] \, dt \\
&= \exp(\mu) \cdot \exp\left(\frac{\sigma^4}{2\sigma^2}\right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2}\right] \, dt \\
&= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \quad \left(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2}\right] \, dt = 1 \right)
\end{align*}
② Y が正規分布に従うとき，e^Y の期待値を計算する
\begin{align*}
E[e^Y] &= \int_{-\infty}^{\infty} e^y f(y) \, dy \\
&= \int_{-\infty}^{\infty} e^y \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(y - \mu)^2}{2\sigma^2} + y \right] \, dy \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{y^2 - 2\mu y + \mu^2 - 2\sigma^2 y}{2\sigma^2} \right] \, dy \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2 - (2\mu \sigma^2 + \sigma^4)}{2\sigma^2} \right] \, dy \\
&= \exp\left[\frac{2\mu \sigma^2 + \sigma^4}{2\sigma^2}\right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2}{2\sigma^2} \right] \, dy \\
&= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \quad (\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2}{2\sigma^2} \right] \, dy = 1)
\end{align*}
(26)の証明
① E[X^2] を求め，式(9) V[X] = E[X^2] - (E[X])^2 より求める
\begin{align*}
E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\
&= \int_{0}^{\infty} x \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(\log x - \mu)^2}{2\sigma^2}) \, dx \\
\\
&ここで，\log x - \mu = t とおくと，x が 0 から \infty へ動くときは，t は -\infty から \infty へ動くこと，\\
&また，x = e^{t + \mu}なので，dx = e^{t + \mu} dtで あり，\log x - \mu = t の置換積分を行うと \\
&= \int_{-\infty}^{\infty} e^{t + \mu} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2}\right] \, e^{t + \mu} dt \\
&= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2} + 2t \right] \, dt \\
&= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2 - 4t\sigma^2}{2\sigma^2} \right] \, dt \\
&= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} + \frac{4\sigma^4}{2\sigma^2} \right] \, dt \\
&= \exp(2\mu) \exp\left(\frac{4\sigma^4}{2\sigma^2} \right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} \right] \, dt \\
&= \exp\left(2\mu + 2\sigma^2 \right) \quad \left(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} \right] \, dt = 1 \right) \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\
&= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\
&= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\
&= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\
&= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1)
\end{align*}
② Y が正規分布に従うとき，e^Y の分散を計算する
E[X^2] = E[X^{2Y}] であるから，
\begin{align*}
E[e^{2Y}] &= \int_{-\infty}^{\infty} e^{2y} f(y) \, dy \\
&= \int_{-\infty}^{\infty} e^{2y} \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(y - \mu)^2}{2\sigma^2} + 2y \right] \, dy \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{y^2 - 2\mu y + \mu^2 - 4\sigma^2 y}{2\sigma^2} \right] \, dy \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2 - (4\mu\sigma^2 + 4\sigma^4)}{2\sigma^2} \right] \, dy \\
&= \exp\left[\frac{4\mu\sigma^2 + 4\sigma^4}{2\sigma^2}\right] \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2}{2\sigma^2} \right] \, dy \\
&= \exp(2\mu + 2\sigma^2) \quad(\because \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2}{2\sigma^2} \right] \, dy = 1) \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\
&= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\
&= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\
&= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\
&= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1)
\end{align*}
正規分布の積率母関数を使った期待値と分散の計算
正規分布 N(\mu, \sigma^2) に従う確率変数 Y に対し，X = e^Y に従う分布が対数正規分布であることから，Y の積率母関数を用いて平均と分散を計算する．
Y の積率母関数は
M_Y(t) = E[e^{tY}] = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)
であることから，Y を X で表すと
E[e^{t\log X}] = E[e^{\log X^t}] = E[X^t] = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)
となり，対数正規分布の t 次モーメントが正規分布の積率母関数に対応していることがわかる．つまり，M_Y(t) が X の t 次モーメントになる．
E[X] = M(1) を用いて期待値を求める．
\begin{align*}
E[X] &= M(1) \\
&= \left.\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\right|_{t=1} \\
&= \exp\left(\mu + \frac{1}{2}\sigma^2\right)
\end{align*}
V[X] = E[X^2] - (E[X])^2 = M(2) - (M(1))^2 を用いて期待値を求める．
\begin{align*}
E[X^2] &= \left.\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\right|_{t=2} \\
&= \exp(2\mu + 2\sigma^2) \\
\\
\therefore V[X] &= E[X^2] - (E[X])^2 \\
&= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\
&= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\
&= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\
&= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\
&= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1)
\end{align*}
2変量正規分布
実数 \mu_1, \mu_2 と \sigma_1 > 0, \sigma_2 > 0，さらに -1 < \rho < 1 を満たす \rho に対し，確率ベクトル \mathbf{X} = (X_1, X_2)^\top が同時確率密度関数
\begin{align}
f(x_1, x_2) = \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right]
\end{align}
をもつとき，\mathbf{X} は平均ベクトル \pmb{\mu}，分散共分散行列 \Sigma_2 の2変量正規分布に従うといい，この分布を N_2(\pmb{\mu}, \Sigma_2) で表す．ただし
\begin{align}
\pmb{\mu} = (\mu_1, \mu_2)^\top, \quad
\Sigma_2 = \begin{pmatrix}
\sigma_1^{\,2} & \rho\sigma_1\sigma_2 \\
\rho\sigma_1\sigma_2 & \sigma_2^{\,2}
\end{pmatrix}
\end{align}
とする．
また，(27)式を成分表示すると
\begin{equation*}
\begin{split}
&f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \\
& \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \\
\end{split}
\end{equation*}
となる．パラメータ \rho は X_1 X_2 の相関係数を表すが，\rho = 0 の場合には，同時確率密度関数 f(x_1, x_2) が，N(\mu_1, \sigma_1^{\,2}) と N(\mu_2, \sigma_2^{\,2}) の確率密度関数の積に分かれ，X_1 と X_2 は独立になる．
2変量正規分布の確率密度関数の導出
独立な標準正規分布 \mathbf{Z} = (Z_1, Z_2)^\top の変数変換より求める
Z_1, Z_2 がそれぞれ独立に標準正規分布 N_2(\mathbf{0}, I_2) に従うとする．ことのき，\mathbf{Z} の同時確率密度関数 g は
\begin{align*}
g_{\mathbf{Z}}(\mathbf{z}) &= g_{Z_1}(z_1) \times g_{Z_2}(z_2) \\
&= \frac{1}{(\sqrt{2\pi})^2} \exp\left[-\frac{z_1^2 + z_2^2}{2}\right] \\
&= \frac{1}{2\pi} \exp\left[-\frac{\mathbf{z}^\top \mathbf{z}}{2}\right] \\
\end{align*}
となる．ここで2変量の正規分布に拡張するために，線形変換を用いて定義される確率変数 \mathbf{X} = A\mathbf{Z} + \pmb{\mu} を導入する．
\begin{align*}
\mathbf{X} &= (X_1, X_2)^\top \\
\pmb{\mu} &= (\mu_1, \mu_2)^\top
\end{align*}
ただし，A \in \R^{2 \times 2} は正則であり，\pmb{\mu} は期待値を結合したベクトルを表す．
ここで，\mathbf{X} = A\mathbf{Z} + \pmb{\mu}, \mathbf{Y} = \mathbf{W} の変数変換を考えると，逆変換は
\begin{equation*}
\left\{
\begin{aligned}
& \mathbf{X} = A\mathbf{Z} + \pmb{\mu} \\
& \mathbf{Y} = \mathbf{W}
\end{aligned}
\right. \\
\\
\Leftrightarrow \left\{
\begin{aligned}
& \mathbf{Z} = A^{-1}(\mathbf{X} - \pmb{\mu}) \\
& \mathbf{W} = \mathbf{Y}
\end{aligned}
\right. \\
\end{equation*}
となり，ヤコビアンは
\begin{align*}
J((\mathbf{Z}, \mathbf{W}) \rightarrow (\mathbf{X}, \mathbf{Y}))
&= det \begin{pmatrix}
\frac{\partial \mathbf{Z}}{\partial \mathbf{X}} & \frac{\partial \mathbf{Z}}{\partial \mathbf{Y}} \\
\frac{\partial \mathbf{W}}{\partial \mathbf{X}} & \frac{\partial \mathbf{W}}{\partial \mathbf{Y}}
\end{pmatrix} \\
&= det \begin{pmatrix}
A^{-1} & O_2 \\
O_2 & I_2
\end{pmatrix} \\
&= |A^{-1}||I_2 - O_2AO_2| \quad\left(\because |A| \neq 0のとき，|Z| = \begin{vmatrix} A&B \\ C&D \end{vmatrix} = |A||D-CA^{-1}B|\right) \\
&= |A^{-1}| \\
&= |A|^{-1} \quad(\because Aが正則なら，|A^{-1}|=|A|^{-1})
\end{align*}
となる．ここで f_{\mathbf{X}}(\mathbf{x}) = g_{\mathbf{Z}}(\mathbf{z}) \cdot abs|A|^{-1} であるから，
\begin{align*}
f_{\mathbf{X}}(\mathbf{x}) &= \frac{1}{2\pi} \exp\left[-\frac{\{A^{-1}(\mathbf{x} - \pmb{\mu})\}^\top \{A^{-1}(\mathbf{x} - \pmb{\mu})\}}{2}\right] \cdot abs|A|^{-1} \\
&= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (A^{-1})^\top A^{-1}(\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\
&= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (A^\top)^{-1} A^{-1}(\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\
&= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (AA^\top)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\
\end{align*}
あとは AA^\top と abs|A|^{-1} を求めれば導出が完了する．
まずは，AA^\top から求める．X の分散を求めると，
\begin{align*}
V[\mathbf{X}] &= E[(\mathbf{X} - \pmb{\mu})(\mathbf{X} - \pmb{\mu})^\top] \\
&= E[A\mathbf{Z}(A\mathbf{Z})^\top] \\
&= E[A\mathbf{Z}\mathbf{Z}^\top A^\top] \\
&= AE[\mathbf{Z}\mathbf{Z}]A^\top \quad(\because E[AXB] = AE[X]B)
\end{align*}
ここで \mathbf{Z} は2次元標準正規分布に従うことから，
V[\mathbf{Z}] = E[\mathbf{Z}\mathbf{Z}^\top] = I_2 であるので，
\begin{align*}
V[\mathbf{X}] &= AA^\top \\
&= \Sigma_2 \quad(\because \mathbf{X}の分散共分散行列を\Sigma_2とおいた)
\end{align*}
つぎに，abs|A|^{-1}を求める．AA^\top = \Sigma の関係を使う．
\begin{align*}
abs|\Sigma| &= abs|AA^\top| \\
&= abs|A| \cdot abs|A^\top| \quad(\because |AB|=|A||B|) \\
&= abs|A| \cdot abs|A| \quad(\because |A^\top| = |A|) \\
&= (abs|A|)^2 \\
\\
\therefore abs|A| &= (abs|\Sigma_2|)^{1/2} \\
&= |\Sigma_2|^{1/2} \quad(\because 分散共分散行列は半正定値行列であるから|\Sigma_2| \geq 0)
\\
\therefore abs|A|^{-1} &= |\Sigma_2|^{-1/2}
\end{align*}
求めた AA^\top と abs|A|^{-1} を f_{\mathbf{X}}(\mathbf{x}) の式に代入して
\begin{align*}
f_{\mathbf{X}}(\mathbf{x}) &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right] \cdot |\Sigma_2|^{-1/2} \\
&= \frac{1}{2\pi|\Sigma_2|^{1/2}} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right]
\end{align*}
成分表示の証明
(28)を用いて(27)式を行列表示を成分表示に戻す
まずは，|\Sigma|^{1/2} を計算する．
\begin{align*}
|\Sigma|^{1/2} &= \begin{vmatrix}
\sigma_1^{\, 2} & \rho\sigma_1\sigma_2 \\
\rho\sigma_1\sigma_2 & \sigma_2^{\, 2}
\end{vmatrix}^{1/2} \\
&= \{\sigma_1^{\, 2} \cdot \sigma_2^{\, 2} - (\rho\sigma_1\sigma_2)^2\}^{1/2} \\
&= \{\sigma_1^{\, 2}\sigma_2^{\, 2}(1 - \rho^2)\}^{1/2} \\
&= \sigma_1\sigma_2\sqrt{1 - \rho^2}
\end{align*}
次に (\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu}) を計算する．
\begin{align*}
\Sigma^{-1} &= \frac{1}{\sigma_1^{\, 2}\sigma_2^{\, 2}(1 - \rho^2)} \begin{pmatrix}
\sigma_2^{\,2} & -\rho\sigma_1\sigma_2 \\
-\rho\sigma_1\sigma_2 & \sigma_1^{\,2}
\end{pmatrix} \\
&= \frac{1}{1-\rho^2}\begin{pmatrix}
\frac{1}{\sigma_1^{\, 2}} & -\frac{\rho}{\sigma_1\sigma_2} \\
-\frac{\rho}{\sigma_1\sigma_2} & \frac{1}{\sigma_2^{\, 2}}
\end{pmatrix}
\end{align*}
\begin{align*}
(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu}) &= \frac{1}{1-\rho^2} \begin{pmatrix}
x_1 - \mu_1 & x_2 -\mu_2
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sigma_1^{\, 2}} & -\frac{\rho}{\sigma_1\sigma_2} \\
-\frac{\rho}{\sigma_1\sigma_2} & \frac{1}{\sigma_2^{\, 2}}
\end{pmatrix}
\begin{pmatrix}
x_1 - \mu_1 \\ x_2 -\mu_2
\end{pmatrix} \\
&= \frac{1}{1-\rho^2} \begin{pmatrix}
\frac{1}{\sigma_1^{\, 2}}(x_1 - \mu_1) - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1) \\
-\frac{\rho}{\sigma_1\sigma_2}(x_2 - \mu_2) + \frac{1}{\sigma_2^{\, 2}}(x_2 - \mu_2)
\end{pmatrix}
\begin{pmatrix}
x_1 - \mu_1 \\ x_2 -\mu_2
\end{pmatrix} \\
&= \frac{1}{1-\rho^2} \left\{ \frac{1}{\sigma_1^{\, 2}}(x_1 - \mu_1)^2 - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1)(x_2 - \mu_2) - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1)(x_2 - \mu_2) + \frac{1}{\sigma_2^{\, 2}}(x_2 - \mu_2)^2 \right\} \\
&= \frac{1}{1-\rho^2} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\}
\end{align*}
求めた |\Sigma|^{1/2} と (\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu}) を(40)式に代入して
f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho}} \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right]
ρ=0 のときの同時確率密度関数
成分表示した同時確率密度関数に \rho=0 を代入し，2つの正規分布の確率密度関数で表せることを示す
\begin{align*}
f(x_1, x_2) &= \frac{1}{2\pi\sigma_1\sigma_2} \exp\left[-\frac{1}{2} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \\
&= \frac{1}{\sqrt{2\pi}\sigma_1}\frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[ -\frac{1}{2} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \exp\left[ -\frac{1}{2} \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right] \\
&= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[ -\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\, ^2}} \right] \times \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[ -\frac{(x_2 - \mu_2)^2}{2\sigma_2^{\, ^2}} \right]
\end{align*}
\mathbf{X} \sim N_2(\pmb{\mu}, \Sigma_2) のとき，平均ベクトルと分散共分散行列は
\begin{align}
E[\mathbf{X}] &= \pmb{\mu} \\
V[\mathbf{X}] &= \Sigma_2
\end{align}
となる．
(29)の証明
平均ベクトルの定義から求める
2次元分布の期待値は，
\begin{align*}
E[\mathbf{X}] = \begin{pmatrix}
E[X_1] \\
E[X_2]
\end{pmatrix}
\end{align*}
と定義されるので，X_1，X_2 それぞれの期待値を求める．
X_1 の期待値は
\begin{align*}
E[X_1] &= \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} x_1 f(x_1, x_2) \, dx_1dx_2 \\
&= \int_{-\infty}^{\infty} x_1 \left(\int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 \right) \, dx_1 \\
&= \int_{-\infty}^{\infty} x_1 f(x_1) \, dx_1 \quad(\because \int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 は x_1 の周辺確率密度関数である) \\
&= \mu_1 \quad(\because X_1 \sim (\mu_1, \sigma_1^{\,2}))
\end{align*}
X_2 の期待値も同様にして \mu_2 を得る．
以上より，2変量正規分布の期待値ベクトルは
\begin{align*}
E[\mathbf{X}] &= \begin{pmatrix}
E[X_1] \\
E[X_2]
\end{pmatrix} \\
&= \begin{pmatrix}
\mu_1 \\
\mu_2
\end{pmatrix}
\end{align*}
(30)の証明
分散共分散行列の定義から求める
\begin{align*}
V[\mathbf{X}] &= E[\{\mathbf{x} - E(\mathbf{x})\}\{\mathbf{x} - E(\mathbf{x})\}^\top] \\
&= E[(\mathbf{x} - \pmb{\mu})(\mathbf{x} - \pmb{\mu})^\top] \\
&= E\left[
\begin{pmatrix}
x_1 - \mu_1 \\
x_2 - \mu_2
\end{pmatrix}
\begin{pmatrix}
x_1 - \mu_1 & x_2 - \mu_2
\end{pmatrix}
\right] \\
&= \begin{pmatrix}
E[(x_1 - \mu_1)^2] & E[(x_1 - \mu_1)(x_2 - \mu_2)] \\
E[(x_1 - \mu_1)(x_2 - \mu_2)] & E[(x_2 - \mu_2)^2] \\
\end{pmatrix} \\
&= \begin{pmatrix}
\sigma_1^{\,2} & \sigma_{12} \\
\sigma_{12} & \sigma_2^{\,2}
\end{pmatrix} \\
&= \begin{pmatrix}
\sigma_1^{\,2} & \rho\sigma_1\sigma_2 \\
\rho\sigma_1\sigma_2 & \sigma_2^{\,2}
\end{pmatrix} \quad\left( \because \rho = \frac{\sigma_{12}}{\sigma_1\sigma_2} \right)\\
&= \Sigma_2
\end{align*}
X_1 と X_2 の周辺分布は，それぞれ N(\mu_1, \sigma_1^{\, 2}) と N(\mu_2, \sigma_2^{\, 2}) となる．
周辺分布の証明
周辺分布の定義から求める
\begin{align*}
f(x_1) &= \int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 \\
&= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \, dx_2 \\
&= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \frac{-2\rho(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\
&= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ (x_2 - \mu_2)^2 - \frac{2\rho\sigma_2(x_1 - \mu_1)}{\sigma_1}(x_2 - \mu_2) \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\
&= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} - \frac{\rho^2\sigma_2^{\,2}}{\sigma_1^{\,2}}(x_1 - \mu_1)^2 \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\
&= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - \left(\frac{\rho(x_1 - \mu_1)}{\sigma_1}\right)^2 \right\} \right] \, dx_2 \\
&= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \, dx_2 \\
\\ &ここで x_2 - \mu_2 = yとおくとdx_2 = dyであり，\sqrt{1-\rho^2}\sigma_2 = \sigma，\frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) = \muとおくと \\
&= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[ -\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\
&= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \quad(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[ -\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy = 1)
\end{align*}
同様にして，f(x_2) = \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[-\frac{(x_2 - \mu_2)^2}{2\sigma_2^{\,2}} \right] を得る．
x_1, x_2 の周辺分布は， それぞれ N(\mu_1, \sigma_1^{\, 2}) と N(\mu_2, \sigma_2^{\, 2}) の確率密度関数に一致する．
また，X_1 = x_1 が与えられたときの X_2 の条件付き分布は，正規分布となり，その期待値と分散は
\begin{align}
E[X_2|X_1 = x_1] &= \mu_2 + \rho \cdot \frac{\sigma_2}{\sigma_1}(x_1 - \mu_1) = \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1) \\
V[X_2|X_1 = x_1] &= (1-\rho^2)\sigma_2^{\,2} = \frac{|\Sigma|}{\sigma_1^{\,2}}
\end{align}
となる．
条件付き分布の証明
条件付き分布の定義から求める
\begin{align*}
f(x_2|x_1) &= \frac{f(x_1, x_2)}{f(x_1)} \\
&= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
&= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
&= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \frac{-2\rho(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
&= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} - \frac{\rho^2\sigma_2^{\,2}}{\sigma_1^{\,2}}(x_1 - \mu_1)^2 \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
&= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - \left(\frac{\rho(x_1 - \mu_1)}{\sigma_1}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
&= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \times \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\
&= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \\
&= \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right]
\end{align*}
これは，N\left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1), (1-\rho^2)\sigma_2^{\,2}\right) の正規分布の確率密度関数である．
(31)の証明
①条件付き分布のパラメータから求める
条件付き分布 f(x_2|x_1) は \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right] と表せるので，期待値は \mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) とわかる．
\begin{align*}
E[X_2|X_1] &= \mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \\
&= \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1) \quad\left(\because \rho = \frac{\sigma_{12}}{\sigma_1\sigma_2}\right)
\end{align*}
②単回帰による証明
単回帰モデルは E[X_2|X_1 = x_1] = \beta_0 + \beta_1 x_2 と表せ，\beta_0 = \mu_2 - \beta_1\mu_1，\beta_1 = \frac{\sigma_{12}}{\sigma_1^{\,2}} であるから，
\begin{align*}
E[X_2|X_1] &= \beta_0 + \beta_1 x_2 \\
&= \mu_2 - \frac{\sigma_{12}}{\sigma_1^{\,2}}\mu_1 + \frac{\sigma_{12}}{\sigma_1^{\,2}}x_1 \\
&= \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1)
\end{align*}
(32)の証明
条件付き分布のパラメータから求める
条件付き分布 f(x_2|x_1) は \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right] と表せるので，分散は (1-\rho^2)\sigma_2^{\,2} とわかる．
\begin{align*}
V[X_2|X_1] &= (1-\rho^2)\sigma_2^{\,2} \\
&= \frac{|\Sigma|}{\sigma_1^{\,2}} \quad(\because |\Sigma| = \sigma_1^{\,2}\sigma_2^{\,2} - \rho^2\sigma_1^{\,2}\sigma_2^{\,2} = (1 - \rho^2)\sigma_1^{\,2}\sigma_2^{\,2})
\end{align*}
さらに，積率母関数は以下のようになる．
\begin{align}
M(\mathbf{t}) = E[e^{\mathbf{t}^\top\mathbf{X}}] = \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t} \right) \quad \mathbin{t} \in \mathbb{R}^2
\end{align}
積率母関数を使った平均ベクトルと分散共分散行列の計算
E[\mathbf{X}] = M^\prime(\mathbf{0}) を用いて平均ベクトルを求める．
\begin{align*}
E[\mathbf{X}] &= M^\prime(\mathbf{0}) \\
&= \left. \frac{\partial}{\partial\mathbf{t}}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \frac{\partial f}{\partial\mathbf{x}} = \frac{\partial{\mathbf{u}}}{\partial{\mathbf{x}}}\frac{\partial f}{\partial\mathbf{u}} \right) \\
&= \left. \left(\pmb{\mu} + \frac{1}{2}(\Sigma + \Sigma^\top)\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right|_{\mathbf{t}=\mathbf{0}} \\
&= \left. \left(\pmb{\mu} + \Sigma\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right|_{\mathbf{t}=\mathbf{0}} \quad(\because \Sigmaは対称行列のため，\Sigma = \Sigma^\top) \\
&= \left(\pmb{\mu} + \Sigma\mathbf{0}\right) \exp\left(\pmb{\mu}^\top\mathbf{0} + \frac{1}{2} \mathbf{0}^\top\Sigma\mathbf{0} \right) \\
&= \pmb{\mu}
\end{align*}
E[\mathbf{X}\mathbf{X}^\top] = M^{\prime\prime}(\mathbf{0}) を用いて分散共分散行列を求める．
\begin{align*}
E[\mathbf{X}\mathbf{X}^\top] &= M^{\prime\prime}(\mathbf{0}) \\
&= \left. \frac{\partial^2}{\partial\mathbf{t}\partial\mathbf{t}^\top}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \\
&= \left. \frac{\partial}{\partial\mathbf{t}}\left\{(\pmb{\mu} + \Sigma\mathbf{t})^\top \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \frac{\partial f}{\partial\mathbf{x}^\top}(\mathbf{x}) = \left(\frac{\partial f}{\partial x_1}(\mathbf{x}), \dots, \frac{\partial f}{\partial x_n}(\mathbf{x}) \right) \right) \\
&= \left. \frac{\partial}{\partial\mathbf{t}}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)(\pmb{\mu} + \Sigma\mathbf{t})^\top \right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)はスカラー \right) \\
&= \left. \left\{\left(\pmb{\mu} + \Sigma\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)(\pmb{\mu} + \Sigma\mathbf{t})^\top + \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) (\mathbf{0} + \Sigma) \right\}\right|_{\mathbf{t}=\mathbf{0}} \\
&= \left. \left[\left\{(\pmb{\mu} + \Sigma\mathbf{t})(\pmb{\mu} + \Sigma\mathbf{t})^\top + \Sigma\right\} \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right]\right|_{\mathbf{t}=\mathbf{0}} \\
&= \pmb{\mu}\pmb{\mu}^\top + \Sigma \\
\\
\therefore V[\mathbf{X}] &= E[(\mathbf{X} - E[\mathbf{X}])(\mathbf{X} - E[\mathbf{X}])^\top] \\
&= E[\mathbf{X}\mathbf{X}^\top - \mathbf{X}E[\mathbf{X}]^\top - E[\mathbf{X}]X^\top + E[\mathbf{X}]E[\mathbf{X}]^\top] \\
&= E[\mathbf{X}\mathbf{X}^\top] - E[\mathbf{X}]E[\mathbf{X}]^\top - E[\mathbf{X}]E[\mathbf{X}]^\top + E[\mathbf{X}]E[\mathbf{X}]^\top \\
&= E[\mathbf{X}\mathbf{X}^\top] - E[\mathbf{X}]E[\mathbf{X}]^\top \\
&= \mu\mu^\top + \Sigma - \mu\mu^\top \\
&= \Sigma
\end{align*}
(33)の証明
①積率母関数の定義より求める．
\begin{align*}
M(\mathbf{t}) &= E[e^{\mathbf{t}^\top\mathbf{X}}] \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \exp(\mathbf{t}^\top\mathbf{x}) \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left\{(\mathbf{x}^\top - \pmb{\mu}^\top) \Sigma^{-1} (\mathbf{x} - \pmb{\mu}) \right\} \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left\{(\mathbf{x}^\top \Sigma^{-1} - \pmb{\mu}^\top \Sigma^{-1}) (\mathbf{x} - \pmb{\mu}) \right\} \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - \pmb{\mu}^\top \Sigma^{-1} \mathbf{x} - \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2
\end{align*}
ここで，\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} と \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} はスカラーであるから以下が成り立つ．
\begin{align*}
\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} &= (\pmb{\mu}^\top \Sigma^{-1} \mathbf{x})^\top \\
&= \mathbf{x}^\top (\Sigma^{-1})^\top (\pmb{\mu}^\top)^\top \\
&= \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} \quad(\because \Sigmaは対称行列)
\end{align*}
元の計算式に戻って，
\begin{align*}
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} - 2\mathbf{t}^\top\Sigma\Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left\{\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}^\top + \mathbf{t}^\top\Sigma) \Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right\} \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left\{\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top \Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right\} \right] \, dx_1 dx_2 \quad((\mathbf{t}^\top\Sigma)^\top = \Sigma^\top\mathbf{t} = \Sigma\mathbf{t})\\
\end{align*}
となる．さらに \mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top \Sigma^{-1}\mathbf{x} には二次形式の平方完成 \mathbf{x}^\top A^{-1} \mathbf{x} + 2\mathbf{p}^\top A^{-1} \mathbf{x} = (\mathbf{x} + \mathbf{p})^\top A^{-1} (\mathbf{x} + \mathbf{p}) - \mathbf{p}^\top A^{-1} \mathbf{p} \quad (Aは対称行列) が成り立つので，
\begin{align*}
\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top \Sigma^{-1}\mathbf{x} &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu} + \Sigma\mathbf{t})^\top \Sigma^{-1} (\pmb{\mu} + \Sigma\mathbf{t}) \\
&= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1} + \mathbf{t}^\top\Sigma\Sigma^{-1}) (\pmb{\mu} + \Sigma\mathbf{t}) \\
&= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + \mathbf{t}^\top\pmb{\mu} + \pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) \\
&= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + 2\pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) \\
\end{align*}
となる．これを元の計算式に代入して，
\begin{align*}
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} [ \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + 2\pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) + + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu}] \right] \, dx_1 dx_2 \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \, dx_1 dx_2 \\
&= \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \, dx_1 dx_2 \\
&= \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \quad\left(\because \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \, dx_1 dx_2 = 1 \right)
\end{align*}
②2変量標準正規分布の積率母関数より求める．
確率変数 \mathbf{Z} \sim N_2(\mathbf{0}, \mathbf{I}) の積率母関数を求めると，
\begin{align*}
M_{\mathbf{Z}}(\mathbf{t}) &= E[\exp(\mathbf{t}^\top\mathbf{Z})] \\
&= E[\exp(t_1Z_1 + t_2Z_2)] \\
&= E[\exp(t_1Z_1)\exp(t_2Z_2)] \\
&= E[\exp(t_1Z_1)]E[\exp(t_2Z_2)] \quad(\because Z_1, Z_2は独立に標準正規分布に従う) \\
&= \exp\left( \frac{1}{2}t_1^2 \right) \exp\left( \frac{1}{2}t_2^2 \right ) \quad(\because 標準正規分布の積率母関数) \\
&= \exp\left(\frac{1}{2}(t_1^2+t_2^2) \right) \\
&= \exp\left(\frac{1}{2}\mathbf{t}^\top\mathbf{t}\right)
\end{align*}
となり，\mathbf{X} = \pmb{\mu} + \Sigma^{\frac{1}{2}}\mathbf{Z} \sim N_2(\pmb{\mu, \Sigma}) の積率母関数は，
\begin{align*}
M_{\mathbf{X}}(\mathbf{t}) &= E[\exp(\mathbf{t}^\top\mathbf{X})] \\
&= E[\exp\{\mathbf{t}^\top(\pmb{\mu} + \Sigma^{\frac{1}{2}}\mathbf{Z})\}] \\
&= \exp(\mathbf{t}^\top\pmb{\mu}) E[\exp(\mathbf{t}^\top\Sigma^{\frac{1}{2}}\mathbf{Z})] \\
&= \exp(\mathbf{t}^\top\pmb{\mu}) E[\exp(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}] \\
&= \exp(\pmb{\mu}^\top\mathbf{t}) E[\exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}\}] \\
&= \exp(\pmb{\mu}^\top\mathbf{t}) \exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top(\Sigma^{\frac{1}{2}}\mathbf{t})\} \quad(\because E[\exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}\}] = M_{\mathbf{Z}}(\mathbf{\Sigma^{\frac{1}{2}}t})) \\
&= \exp(\pmb{\mu}^\top\mathbf{t}) \exp(\mathbf{t}^\top\Sigma\mathbf{t}) \\
&= \exp(\pmb{\mu}\mathbf{t}^\top + \mathbf{t}^\top\Sigma\mathbf{t})
\end{align*}
X \sim N_2(\mathbf{\mu},\Sigma) である時，正則行列 A およベクトル \mathbf{b} を用いて，線形変換した \mathbf{Y} = A\mathbf{X} + \mathbf{b} が従う分布は
\begin{align}
\mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N_2(A\pmb{\mu} + \mathbf{b}, A\Sigma A^\top)
\end{align}
となる．
(34)の証明
① \mathbf{Y} = A\mathbf{X} + \mathbf{b} の変数変換を単純に計算する
\mathbf{Y} = A\mathbf{X} + \mathbf{b} より，逆変換を考えると \mathbf{X} = A^{-1}(\mathbf{Y} - \mathbf{b}) となり，成分表示だと
\begin{align*}
\begin{pmatrix}
x_1 \\ x_2
\end{pmatrix} &= \mathbf{X} \\
&= A^{-1}(\mathbf{Y} - \mathbf{b}) \\
&= \begin{pmatrix}
a_{11} & a_{12} \\
a_{21} & a_{22}
\end{pmatrix}
\begin{pmatrix}
y_1 - b_1 \\
y_2 - b_2
\end{pmatrix} \\
&= \begin{pmatrix}
a_{11}(y_1 - b_1) + a_{12}(y_2 - b_2) \\
a_{21}(y_1 - b_1) + a_{22}(y_2 - b_2)
\end{pmatrix}
\end{align*}
と表せるので，ヤコビ行列 J は
\begin{align*}
J &= \begin{pmatrix}
\frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} \\
\frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2}
\end{pmatrix} \\
&= \begin{pmatrix}
a_{11} & a_{12} \\
a_{21} & a_{22}
\end{pmatrix} \\
&= A^{-1}
\end{align*}
であるから，|J| = |A^{-1}| を式変形すると，
\begin{align*}
|A^{-1}| = \frac{1}{|A|} \\
&= \sqrt{\frac{1}{(|A|)^2}} \\
&= \sqrt{\frac{1}{|A| \cdot |A^\top|}} \quad(\because |P| = |P^\top|) \\
&= \sqrt{\frac{|\Sigma|}{|A| \cdot |\Sigma| \cdot |A^\top|}} \\
&= \sqrt{\frac{|\Sigma|}{|A \Sigma A^\top|}} \quad(\because |P||Q| = |PQ|)
\end{align*}
となるので，確率密度関数 f_{\mathbf{Y}}(\mathbf{y}) は
\begin{align*}
f_{\mathbf{Y}}(\mathbf{y}) &= \frac{1}{2\pi |\Sigma|^{1/2}} \exp\left[ -\frac{1}{2}\{A^{-1}(\mathbf{y} - \mathbf{b}) - \pmb{\mu}\}^\top \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b}) - \pmb{\mu}\} \right] \cdot \sqrt{\frac{|\Sigma|}{|A \Sigma A^\top|}} \\
&= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\}^\top \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\} \right] \\
&= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A^{-1})^\top\} \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\} \right] \\
&= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A^\top)^{-1} \Sigma^{-1} A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu}) \right] \quad(\because (P^\top)^{-1} = (P^{-1})^\top) \\
&= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A \Sigma A^\top)^{-1} (\mathbf{y} - \mathbf{b} - A\pmb{\mu}) \right] \\
&= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{\mathbf{y} - (A\pmb{\mu} + \mathbf{b})\}^\top (A \Sigma A^\top)^{-1} \{\mathbf{y} - (A\pmb{\mu} + \mathbf{b})\} \right]
\end{align*}
となり，これは \mathbf{Y} \sim N(A\pmb{\mu} + \mathbf{b}, A \Sigma A^\top) の確率密度関数である．
② 積率母関数を使って求める
まず，\mathbf{Y} = A\mathbf{X} + \mathbf{b} の積率母関数を考える．
\begin{align*}
E[e^{\mathbf{t}^\top\mathbf{Y}}] &= E[e^{\mathbf{t}^\top(A\mathbf{X}+\mathbf{b})}] \\
&= e^{\mathbf{t}^\top\mathbf{b}} E[e^{\mathbf{t}^\top A\mathbf{X}}] \\
&= e^{\mathbf{t}^\top\mathbf{b}} E[e^{(A^\top\mathbf{t})^\top\mathbf{X}}] \\
\end{align*}
ここで，2変量正規分布の積率母関数を導入すると，
\begin{align*}
e^{\mathbf{t}^\top\mathbf{b}} E[e^{(A^\top\mathbf{t})^\top\mathbf{X}}] &= \exp(\mathbf{t}^\top\mathbf{b}) \cdot \exp\left\{ \pmb{\mu}^\top(A^\top\mathbf{t}) + \frac{1}{2} (A^\top\mathbf{t})^\top \Sigma (A^\top\mathbf{t}) \right\} \\
&= \exp\left\{ \pmb{\mu}^\top A^\top\mathbf{t} + \mathbf{b}^\top\mathbf{t} + \frac{1}{2} (A^\top\mathbf{t})^\top \Sigma (A^\top\mathbf{t}) \right\} \quad(\because \mathbf{t}^\top\mathbf{b} はスカラーなので，\mathbf{t}^\top\mathbf{b} = \mathbf{b}^\top\mathbf{t}) \\
&= \exp\left\{ (A\pmb{\mu})^\top\mathbf{t} + \mathbf{b}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top A\Sigma A^\top\mathbf{t} \right\} \\
&= \exp\left[ (A\pmb{\mu} + \mathbf{b})^\top\mathbf{t} + \frac{1}{2} \left\{ \mathbf{t}^\top(A \Sigma A^\top)\mathbf{t} \right\} \right] \\
\end{align*}
積率母関数と確率密度関数は1対1に対応するので，式(46)の係数と比較すると，
\mathbf{Y} \sim N(A\pmb{\mu} + \mathbf{b}, A \Sigma A^\top)
参考資料
Discussion
確率分布の変換まとめ。非常に助かります！！！
いくつか間違いかも知れない場所がありましたので報告させていただきます
正規分布の積率母関数、「E[X^2]=M"(0)を用いて分散を求める」の次の行でE[X^2]がE[X]になっています。また、最後がμ^2 + σ^2ではなくμ^2 - σ^2になっています
指数分布 (13)の証明のV[X]で2乗が無いところがあります
ご確認お願いします
ご連絡ありがとうございました，大変助かります！
ご指摘いただいた箇所はすべて修正しました．