統計検定準1級：連続型確率分布のまとめ

概要

• 統計検定準1級を受験するにあたって，自身で大事だなと思うpointをまとめており，何個か作っているチートシートのうちの一つです．
• 今回は連続型確率分布の分野に関する記事です．

本や有用なサイトを参考にしていますが，誤りがある場合もあるのでご容赦ください．
その場合はコメントにてご指摘いただけると幸いです．

抑えておく基本事項

積率母関数（モーメント母関数）

定義

積率母関数は確率母関数^[1]において $s=ets = e^t$ とおいたものであり，連続型確率変数の場合に用いられることが多い．^[2]積率母関数 $M(t)M(t)$ は，確率変数 $XX$ に対して，$tt$ を任意の実数とするとき，$XX$ の積率母関数は以下のように定義される．

$$M(t)=E[etX]=G(et) \begin{align*} M(t) = E[e^{tX}] = G(e^t) \end{align*}$$

使い方

積率母関数 $M(t)M(t)$ を微分すると，$M′(t)=E[XetX]M^\prime(t) = E[Xe^{tX}]$，$M′′(t)=E[X2etX]M^{\prime\prime}(t) = E[X^2e^{tX}]$ であるが，ここで $t=0t=0$ を代入すると

$$M′(0)=E[X]M′′(0)=E[X2] \begin{align} M^\prime(0) = E[X] \\ M^{\prime\prime}(0) = E[X^2] \end{align}$$

を得る．これより$XX$の期待値と分散が

$$E[X]=M′(0)V[X]=E[X2]−(E[X])2=M′′(0)−(M′(0))2 \begin{align*} & E[X] = M^\prime(0) \\ & V[X] = E[X^2] - (E[X])^2 = M^{\prime\prime}(0) - (M^\prime(0))^2 \end{align*}$$

のように表される事がわかる．

主な連続型確率分布

連続一様分布

$a<ba < b$ を満たす $a,ba, b$ に対し，確率密度関数

$$f(x)={1b−a(a≤x≤b)0(otherwise) \begin{equation*} f(x) = \left\{ \begin{gathered} \frac{1}{b-a} &(a \leq x \leq b)\\ 0 &(otherwise) \end{gathered} \right. \end{equation*}$$

をもつ分布を連続一様分布といい，$U(a,b)U(a, b)$ で表す．

$X∼U(a,b)X \sim U(a, b)$ のとき，平均と分散は

$$E[X]=a+b2V[X]=(b−a)212 \begin{align} E[X] &= \frac{a+b}{2} \\ V[X] &= \frac{(b-a)^2}{12} \end{align}$$

となる．

(3)の証明

期待値の定義より求める

$$E[X]=∫−∞∞xf(x) dx=∫abx⋅1b−a dx=1b−a∫ab(12x2)′ dx=1b−a[12x2]ab=b2−a22(b−a)=a+b2 \begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{a}^{b} x \cdot \frac{1}{b-a} \, dx \\ &= \frac{1}{b-a} \int_{a}^{b} \left(\frac{1}{2}x^2\right)^\prime \, dx \\ &= \frac{1}{b-a} \left[\frac{1}{2}x^2\right]^b_a \\ &= \frac{b^2 - a^2}{2(b-a)} \\ &= \frac{a+b}{2} \end{align*}$$

(4)の証明

$E[X2]E[X^2]$ を求め，式(9) $V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2$ より求める

$$E[X2]=∫−∞∞x2f(x) dx=∫−∞∞x2⋅1b−a dx=1b−a∫−∞∞(13x3)′ dx=1b−a[13x3]ab=b3−a33(b−a)=(b−a)(b2−ab+a2)3(b−a)=b2−ab+a23∴V[X]=E[X2]−(E[X])2=b2−ab+a23−(a+b2)2=4(b2−ab+a2)12−3(a2+2ab+b2)12=b2−2ab+a212=(b−a)212 \begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\ &= \int_{-\infty}^{\infty} x^2 \cdot \frac{1}{b-a} \, dx \\ &= \frac{1}{b-a} \int_{-\infty}^{\infty} \left(\frac{1}{3}x^3\right)^\prime \, dx \\ &= \frac{1}{b-a} \left[\frac{1}{3}x^3\right]^b_a \\ &= \frac{b^3 - a^3}{3(b-a)} \\ &= \frac{(b-a)(b^2 - ab + a^2)}{3(b-a)} \\ &= \frac{b^2 - ab + a^2}{3} \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{b^2 - ab + a^2}{3} - \left(\frac{a+b}{2}\right)^2 \\ &= \frac{4(b^2 - ab + a^2)}{12} - \frac{3(a^2 + 2ab + b^2)}{12} \\ &= \frac{b^2 -2ab + a^2}{12} \\ &= \frac{(b-a)^2}{12} \end{align*}$$

また，積率母関数は以下のようになる．

$$M(t)=ebt−eat(b−a)t,−∞<t<∞ \begin{align} M(t) = \frac{e^{bt} - e^{at}}{(b-a)t}, \quad -\infty < t < \infty \end{align}$$

積率母関数を使った期待値の計算

$E[X]=M′(0)E[X] = M^\prime(0)$ を用いて期待値を求める．^[3]

$$E[X]=M′(0)=(ebt−eat(b−a)t)′∣t=0=(bebt−aeat)(b−a)t−(ebt−eat)(b−a){(b−a)t}2∣t=0=(bebt−aeat)t−(ebt−eat)(b−a)t2∣t=0 \begin{align*} E[X] &= M^\prime(0) \\ &= \left.\left(\frac{e^{bt} - e^{at}}{(b-a)t}\right)^\prime\right|_{t=0} \\ &= \left.\frac{(be^{bt} - ae^{at})(b-a)t - (e^{bt} - e^{at})(b-a)}{\{(b-a)t\}^2}\right|_{t=0} \\ &= \left.\frac{(be^{bt} - ae^{at})t - (e^{bt} - e^{at})}{(b-a)t^2}\right|_{t=0} \\ \end{align*}$$

上式に $t=0t = 0$ を代入すると，分母が $00$ になるので，上式が定義できない．
そこでロピタルの定理を用いる．ロピタルの定理とは以下である．

$$lim⁡x→af(x)g(x)=lim⁡x→af(x)′g(x)′ \lim_{x \to a}\frac{f(x)}{g(x)} = \lim_{x \to a}\frac{f(x)^\prime}{g(x)^\prime}$$

ロピタルの定理を前述の式に適応させて計算すると，以下のように期待値が導ける．

$$=lim⁡t→0{(b2ebt−a2eat)t+(bebt−aeat)}−(bebt−aeat)2(b−a)t(∵ロピタルの定理)=lim⁡t→0(b2ebt−a2eat)t2(b−a)t=lim⁡t→0b2ebt−a2eat2(b−a)=(b−a)(b+a)2(b−a)=a+b2 \begin{align*} &= \lim_{t \to 0} \frac{\{(b^2e^{bt} - a^2e^{at})t + (be^{bt} - ae^{at})\} - (be^{bt} - ae^{at})}{2(b-a)t} \quad(\because ロピタルの定理)\\ &= \lim_{t \to 0} \frac{(b^2e^{bt} - a^2e^{at})t}{2(b-a)t} \\ &= \lim_{t \to 0} \frac{b^2e^{bt} - a^2e^{at}}{2(b-a)} \\ &= \frac{(b-a)(b+a)}{2(b-a)} \\ &= \frac{a+b}{2} \end{align*}$$

(5)の証明

積率母関数の定義より求める．

$$M(t)=E[etX]=∫−∞∞etxf(x) dx=∫−∞aetxf(x) dx+∫baetxf(x) dx+∫b∞etxf(x) dx=0+∫baetxf(x) dx+0=∫baetx⋅1b−a dx=1(b−a)∫ba(etxt)′ dx=1(b−a)[etxt]ab=ebt−eat(b−a)t \begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{-\infty}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{-\infty}^{a} e^{tx} f(x) \, dx + \int_{b}^{a} e^{tx} f(x) \, dx + \int_{b}^{\infty} e^{tx} f(x) \, dx\\ &= 0 + \int_{b}^{a} e^{tx} f(x) \, dx + 0\\ &= \int_{b}^{a} e^{tx} \cdot \frac{1}{b-a} \, dx \\ &= \frac{1}{(b-a)} \int_{b}^{a} \left(\frac{e^{tx}}{t}\right)^\prime \, dx \\ &= \frac{1}{(b-a)} \left[\frac{e^{tx}}{t}\right]^{b}_{a} \\ &= \frac{e^{bt} - e^{at}}{(b-a)t} \end{align*}$$

さらに，連続型一様分布は再生性を持たない．

再生性を持たないことの証明

独立な二つの確率変数を考え $X,YX, Y$ を考える．$X∼U(a,b)X \sim U(a, b)$，$Y∼U(c,d)Y \sim U(c, d)$ にそれぞれ従うとき，$X+YX + Y$ の積率母関数を計算する．この時，積率母関数が同じ形になっていないことを示す．

$$MX+Y(t)=E[et(X+Y)]=E[etXetY]=E[etX]E[etY](∵XとYは独立なため(5)式)=MX(t)⋅MY(t)=ebt−eat(b−a)t⋅edt−ect(d−c)t≠e(b+d)t−e(a+c)t{(b+d)−(a+c)}t \begin{align*} M_{X+Y}(t) &= E[e^{t(X+Y)}] \\ &= E[e^{tX} e^{tY}] \\ &= E[e^{tX}] E[e^{tY}] \quad(\because XとYは独立なため(5)式) \\ &= M_X(t) \cdot M_Y(t) \\ &= \frac{e^{bt} - e^{at}}{(b-a)t} \cdot \frac{e^{dt} - e^{ct}}{(d-c)t} \\ &\neq \frac{e^{(b+d)t} - e^{(a+c)t}}{\{(b+d) - (a+c)\}t} \end{align*}$$

正規分布

実数 $μ\mu$ と $σ>0\sigma > 0$ に対し，確率密度関数

$$f(x)=12πσexp⁡[−(x−μ)22σ2] f(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]$$

をもつ分布を正規分布あるいはガウス分布といい，$N∼(μ,σ2)N \sim (\mu, \sigma^2)$ で表す．

特に $μ=0,σ2=1\mu = 0, \sigma^2 = 1$ のときの $N(0,1)N(0, 1)$は，標準正規分布 と呼ばれる．$Z∼N(0,1)Z \sim N(0, 1)$ の確率密度関数は $ϕ(z)\phi(z)$，累積分布関数は $Φ(z)\Phi(z)$ で表される．

$$ϕ(z)≔12πe−z22Φ(z)≔P(Z≤z)=∫−∞zϕ(t) dt,Z∼N(0,1) \begin{align} \phi(z) &\coloneqq \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \\ \Phi(z) &\coloneqq P(Z \leq z) = \int_{-\infty}^{z} \phi(t) \, dt, \quad Z \sim N(0, 1) \end{align}$$

標準正規分布の確率密度関数の導出

$X∼N(μ,σ2)X \sim N(\mu, \sigma^2)$とし，正規分布の確率密度関数 $fX(x)=12πσexp⁡[−(x−μ)22σ2]f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]$ を用いて，標準正規分布の確率密度関数を導出する．

$$Φ(z)=P(Z≤z)ここで，Z=X−μσの変数変換を考えると=P(X−μσ≤z)=P(X≤σz+μ)=FX(σz+μ)ここで，確率密度関数と累積分布関数の関係f(x)=ddx∫−∞xf(t) dtを計算すれば良くϕ(z)=ddzFX(σz+μ)=FX′(σz+μ)×σ=fX(σz+μ)×σ=12πσexp⁡[−{(σz+μ)−μ}22σ2]⋅σ=12πexp⁡(−z22) \begin{align*} \Phi(z) &= P(Z \leq z) \\ \\ &ここで，Z = \frac{X - \mu}{\sigma}の変数変換を考えると \\ &= P(\frac{X - \mu}{\sigma} \leq z) \\ &= P(X \leq \sigma z + \mu) \\ &= F_X(\sigma z + \mu) \\ \\ &ここで，確率密度関数と累積分布関数の関係 f(x) = \frac{d}{dx} \int_{-\infty}^{x} f(t) \, dt を計算すれば良く \\ \phi(z) &= \frac{d}{dz} F_X(\sigma z + \mu) \\ &= F_X^\prime(\sigma z + \mu) \times \sigma \\ &= f_X(\sigma z + \mu) \times \sigma \\ &= \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{(\sigma z + \mu)-\mu\}^2}{2\sigma^2}\right] \cdot \sigma \\ &= \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{z^2}{2}\right) \end{align*}$$

(6)が確率密度関数になることの証明

変数変換を用いた重積分を使って証明する

$f(x)=12πexp⁡(−x22)f(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right)$ は標準正規分布 $N(0,12)N(0, 1^2)$ の確率密度関数である．

$$I=∫−∞∞exp⁡(−x22) dx I = \int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx$$

とおく，これより，

$$I2={∫−∞∞exp⁡(−x22) dx}{∫−∞∞exp(−y22) dy}=∫−∞∞∫−∞∞exp⁡(−x2+y22) dxdy \begin{align*} I^2 &= \left\{\int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx \right\} \left\{\int_{-\infty}^{\infty} exp\left(-\frac{y^2}{2}\right) \, dy \right\} \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \exp\left(-\frac{x^2 + y^2}{2}\right) \, dxdy \end{align*}$$

の重積分を考える．$x=rcosθx = rcos\theta$, $y=rsinθy = rsin\theta$ と変換（これを極座標^[4]変換と呼ぶ）すると，$x:−∞→∞x: -\infty \to \infty$，$y:−∞→∞y: -\infty \to \infty$ のとき $r:0→∞r: 0 \to \infty$，$θ:0→2π\theta: 0 \to 2\pi$ となる．また，ヤコビアンは

$$J=∣∂x∂r∂x∂θ∂y∂r∂y∂θ∣=∣cosθ−rsinθsinθrcosθ∣=rcos2θ+rsin2θ=r J = \begin{vmatrix} \frac{\partial x}{\partial r} & \frac{\partial x}{\partial \theta} \\ \frac{\partial y}{\partial r} & \frac{\partial y}{\partial \theta} \end{vmatrix} = \begin{vmatrix} cos\theta & -r sin\theta \\ sin \theta & r cos\theta \end{vmatrix} = rcos^2\theta + rsin^2\theta = r$$

である．これらより，

$$I2=∫0π∫0∞exp⁡(−(rcosθ)2+(rsinθ)22)∣J∣ drdθ=∫02π{∫0∞exp⁡(−r22) rdr} dθ=∫02π[−exp⁡(−r22)]0∞ dθ=∫02π[0−(−1)] dθ=∫02π1 dθ=2π \begin{align*} I^2 &= \int_{0}^{\pi} \int_{0}^{\infty} \exp\left(-\frac{(rcos\theta)^2 + (rsin\theta)^2}{2}\right) |J| \, drd\theta \\ &= \int_{0}^{2\pi} \left\{\int_{0}^{\infty} \exp\left(-\frac{r^2}{2}\right) \, rdr\right\} \, d\theta \\ &= \int_{0}^{2\pi} \left[-\exp\left(-\frac{r^2}{2}\right) \right]_{0}^{\infty} \, d\theta \\ &= \int_{0}^{2\pi} \left[0 - (-1) \right] \, d\theta \\ &= \int_{0}^{2\pi} 1 \, d\theta \\ &= 2\pi \end{align*}$$

を得る．これより，$I=2πI = \sqrt{2\pi}$ であるから，

$$2π=∫−∞∞exp⁡(−x22) dx⇔∫−∞∞12πexp⁡(−x22) dx=1 \begin{align*} & \sqrt{2\pi} = \int_{-\infty}^{\infty} \exp\left(-\frac{x^2}{2}\right) \, dx \\ \Leftrightarrow & \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) \, dx = 1 \end{align*}$$

$X∼N(μ,σ2)X \sim N(\mu, \sigma^2)$ のとき，平均と分散は

$$E[X]=μV[X]=σ2 \begin{align} E[X] &= \mu \\ V[X] &= \sigma^2 \end{align}$$

となる．

(8)の証明

①期待値の定義から求める

$$E[X]=∫−∞∞xf(x) dx=∫−∞∞x⋅12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μ+μ)⋅12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μ)⋅12πσexp⁡[−(x−μ)22σ2] dx+∫−∞∞μ12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μσ)12πexp⁡[−12(x−μσ)2] dx+μ∫−∞∞12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞(x−μσ)12πexp⁡[−12(x−μσ)2] dx+μここでy=x−μσとおくと，dydx=1σ⇔dx=σdy=∫−∞∞y⋅12πexp⁡(−12y2) σdy+μ=σ2π∫−∞∞y⋅exp⁡(−12y2) dy+μ=0+μ(∵y⋅e−12y2は奇関数であるから)=μ \begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{-\infty}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} (x - \mu + \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right]\, dx \\ &= \int_{-\infty}^{\infty} (x - \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[- \frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + \int_{-\infty}^{\infty} \mu \frac{1}{\sqrt{2\pi}\sigma} \exp\left[- \frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \left(\frac{x - \mu}{\sigma}\right) \frac{1}{\sqrt{2\pi}} \exp\left[-\frac{1}{2} \left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \left(\frac{x - \mu}{\sigma}\right) \frac{1}{\sqrt{2\pi}} \exp\left[-\frac{1}{2} \left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu \\ \\ &ここで y = \frac{x - \mu}{\sigma}とおくと，\frac{dy}{dx} = \frac{1}{\sigma} \Leftrightarrow dx = \sigma dy \\ &= \int_{-\infty}^{\infty} y \cdot \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{1}{2} y^2 \right) \, \sigma dy + \mu \\ &= \frac{\sigma}{\sqrt{2\pi}} \int_{-\infty}^{\infty} y \cdot \exp\left(-\frac{1}{2} y^2 \right) \, dy + \mu \\ &= 0 + \mu \quad(\because y \cdot e^{-\frac{1}{2} y^2} は奇関数であるから) \\ &= \mu \end{align*}$$

②標準正規分布の期待値から求める
確率変数 $XX$ が標準正規分布 $N(0,1)N(0, 1)$ に従うとする．このとき $Y=σX+μY = \sigma X + \mu$ と変換すると正規分布 $N(μ,σ2)N(\mu, \sigma^2)$ に従うことから

$$E[Y]=E[σX+μ]=σE[X]+μ=σ⋅0+μ=μ \begin{align*} E[Y] &= E[\sigma X + \mu] \\ &= \sigma E[X] + \mu \\ &= \sigma \cdot 0 + \mu \\ &= \mu \end{align*}$$

(9)の証明

① $E[X2]E[X^2]$ を求め，式(9) $V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2$ より求める

$$E[X2]=∫−∞∞x2f(x) dx=∫−∞∞x2⋅12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞{(x−μ)2+2μx−μ2}⋅12πσexp[−(x−μ)22σ2] dx=∫−∞∞(x−μ)2⋅12πσexp⁡[−(x−μ)22σ2] dx+∫−∞∞2μx⋅12πσexp⁡[−(x−μ)22σ2] dx−∫−∞∞μ2⋅12πσexp[−(x−μ)22σ2] dx=∫−∞∞(x−μ)2⋅12πσexp[−(x−μ)22σ2] dx+2μ∫−∞∞x⋅12πσexp⁡[−(x−μ)22σ2] dx−μ2∫−∞∞12πσexp[−(x−μ)22σ2] dx=∫−∞∞(x−μ)2⋅12πσexp⁡[−(x−μ)22σ2] dx+2μ⋅μ−μ2⋅1=∫−∞∞(x−μσ)2⋅σ2πexp⁡[−12(x−μσ)2] dx+μ2ここでy=x−μσとおくと，dydx=1σ⇔dx=σdy=∫−∞∞y2⋅σ2πexp⁡(−y22) σdy+μ2=σ22π∫−∞∞y2⋅exp⁡(−y22) dy+μ2=σ22π∫−∞∞−y⋅(−ye−y22) dy+μ2=σ22π∫−∞∞−y⋅(e−y22)′ dy+μ2=σ22π{[−y⋅e−y22]∞−∞−∫−∞∞−1⋅e−y22 dy}+μ2=0+σ22π∫−∞∞e−y22 dy+μ2=σ2∫−∞∞12πe−y22 dy+μ2=σ2×1+μ2(∵標準正規分布の確率密度関数であるから，∫−∞∞12πe−y22 dy=1)=σ2+μ2∴V[X]=E[X2]−(E[X])2=σ2+μ2−μ2=σ2 \begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\ &= \int_{-\infty}^{\infty} x^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \{(x-\mu)^2 + 2\mu x - \mu^2\} \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + \int_{-\infty}^{\infty} 2\mu x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx - \int_{-\infty}^{\infty} \mu^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + 2\mu \int_{-\infty}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx - \mu^2 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} (x-\mu)^2 \cdot \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right] \, dx + 2\mu \cdot \mu - \mu^2 \cdot 1 \\ &= \int_{-\infty}^{\infty} \left(\frac{x-\mu}{\sigma}\right)^2 \cdot \frac{\sigma}{\sqrt{2\pi}} \exp\left[-\frac{1}{2}\left(\frac{x - \mu}{\sigma}\right)^2 \right] \, dx + \mu^2 \\ \\ &ここで y = \frac{x - \mu}{\sigma}とおくと，\frac{dy}{dx} = \frac{1}{\sigma} \Leftrightarrow dx = \sigma dy \\ &= \int_{-\infty}^{\infty} y^2 \cdot \frac{\sigma}{\sqrt{2\pi}} \exp\left(-\frac{y^2}{2}\right) \, \sigma dy + \mu^2 \\ &= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} y^2 \cdot \exp\left(-\frac{y^2}{2}\right) \, dy + \mu^2 \\ &= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} -y \cdot \left(-y e^{-\frac{y^2}{2}}\right) \, dy + \mu^2 \\ &= \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} -y \cdot \left(e^{-\frac{y^2}{2}}\right)^\prime \, dy + \mu^2 \\ &= \frac{\sigma^2}{\sqrt{2\pi}}\left\{\left[-y \cdot e^{-\frac{y^2}{2}}\right]^{-\infty}_{\infty} - \int_{-\infty}^{\infty} -1 \cdot e^{-\frac{y^2}{2}} \, dy\right\} + \mu^2 \\ &= 0 + \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{y^2}{2}} \, dy + \mu^2 \\ &= \sigma^2 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{y^2}{2}} \, dy + \mu^2 \\ &= \sigma^2 \times 1 + \mu^2 \quad(\because 標準正規分布の確率密度関数であるから，\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{y^2}{2}} \, dy = 1) \\ &= \sigma^2 + \mu^2 \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \sigma^2 + \mu^2 - \mu^2 \\ &= \sigma^2 \end{align*}$$

②標準正規分布の分散から求める
確率変数 $XX$ が標準正規分布 $N(0,1)N(0, 1)$ に従うとする．このとき $Y=σX+μY = \sigma X + \mu$ と変換すると正規分布 $N(μ,σ2)N(\mu, \sigma^2)$ に従うことから

$$V[Y]=V[σX+μ]=σ2V[X]=σ2⋅1=σ2 \begin{align*} V[Y] &= V[\sigma X + \mu] \\ &= \sigma^2 V[X] \\ &= \sigma^2 \cdot 1 \\ &= \sigma^2 \end{align*}$$

また，積率母関数は以下のようになる．

$$M(t)=exp⁡(μt+12σ2t2),−∞<t<∞ \begin{align} M(t) = \exp\left(\mu t + \frac{1}{2}\sigma^2 t^2 \right), \quad -\infty < t < \infty \end{align}$$

積率母関数を使った期待値と分散の計算

$E[X]=M′(0)E[X] = M^\prime(0)$ を用いて期待値を求める．

$$E[X]=M′(0)={exp⁡(μt+12σ2t2)}′∣t=0={exp⁡(μt+12σ2t2)⋅(μ+σ2t)}∣t=0=exp⁡(μ⋅0+12σ202)⋅(μ+σ2⋅0)=exp⁡(0)⋅μ=μ \begin{align*} E[X] &= M^\prime(0) \\ &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right)\right\}^\prime\right|_{t=0} \\ &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot (\mu + \sigma^2 t) \right\}\right|_{t=0} \\ &= \exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot (\mu + \sigma^2 \cdot 0)\\ &= \exp(0) \cdot \mu \\ &= \mu \end{align*}$$

$E[X2]=M′′(0)E[X^2] = M^{\prime\prime}(0)$ を用いて分散を求める．

$$E[X2]=M′′(0)={exp⁡(μt+12σ2t2)}′′∣t=0={exp⁡(μt+12σ2t2)⋅(μ+σ2t)2+exp(μt+12σ2t2)⋅σ2}∣t=0=exp⁡(μ⋅0+12σ202)⋅(μ+σ2⋅0)2+exp(μ⋅0+12σ202)⋅σ2=exp⁡(0)⋅μ2+exp(0)σ2=μ2+σ2∴V[X]=E[X2]−(E[X])2=(μ2+σ2)−μ2=σ2 \begin{align*} E[X^2] &= M^{\prime\prime}(0) \\ &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right)\right\}^{\prime\prime}\right|_{t=0} \\ &= \left.\left\{\exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot (\mu + \sigma^2 t)^2 + exp\left(\mu t + \frac{1}{2} \sigma^2 t^2 \right) \cdot \sigma^2 \right\}\right|_{t=0} \\ &= \exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot (\mu + \sigma^2 \cdot 0)^2 + exp\left(\mu \cdot 0 + \frac{1}{2} \sigma^2 0^2 \right) \cdot \sigma^2 \\ &= \exp(0) \cdot \mu^2 + exp(0) \sigma^2 \\ &= \mu^2 + \sigma^2 \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= (\mu^2 + \sigma^2) - \mu^2 \\ &= \sigma^2 \end{align*}$$

(10)の証明

積率母関数の定義より求める．

$$M(t)=E[etX]=∫−∞∞etxf(x) dx=∫−∞∞etx12πσexp⁡[−(x−μ)22σ2] dx=∫−∞∞12πσexp⁡[−x2−2μx−2σ2tx+μ22σ2] dx=∫−∞∞12πσexp⁡[−x2−2(μ+σ2t)x+μ22σ2] dx=∫−∞∞12πσexp⁡[−{x−(μ+σ2t)}2−(μ+σ2t)2+μ22σ2] dx=exp⁡(−−(μ+σ2t)2+μ22σ2)∫−∞∞12πσexp⁡[−{x−(μ+σ2t)}22σ2] dx=exp⁡(2μσ2t+σ4t22σ2)(∵∫−∞∞12πσexp⁡[−{x−(μ+σ2t)}22σ2] dx=1)=exp⁡(μt+12σ2t2) \begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{-\infty}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{-\infty}^{\infty} e^{tx} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{x^2 - 2\mu x - 2\sigma^2tx + \mu^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{x^2 - 2(\mu + \sigma^2t)x + \mu^2}{2\sigma^2}\right] \, dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2 - (\mu + \sigma^2t)^2 + \mu^2}{2\sigma^2}\right] \, dx \\ &= \exp\left(-\frac{-(\mu + \sigma^2t)^2 + \mu^2}{2\sigma^2}\right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2}{2\sigma^2}\right] \, dx \\ &= \exp\left(\frac{2\mu\sigma^2t + \sigma^4t^2}{2\sigma^2}\right) \quad(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{x - (\mu + \sigma^2t)\}^2}{2\sigma^2}\right] \, dx = 1) \\ &= \exp\left(\mu t + \frac{1}{2} \sigma^2t^2 \right) \end{align*}$$

さらに，正規分布には，再生性とよばれる次の性質がある．$X1∼N(μ1,σ1 2)X_1 \sim N(\mu_1, \sigma_1^{\, 2})$，$X1∼N(μ2,σ2 2)X_1 \sim N(\mu_2, \sigma_2^{\, 2})$で，$X1X_1$ と $X2X_2$ が独立ならば，$X1+X2∼N(μ1+μ2,σ1 2+σ2 2)X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^{\, 2} + \sigma_2^{\, 2})$ となる．

再生成を持つことの証明

独立な二つの確率変数 $X1X_1$, $X2X_2$ を考える．$X1∼N(μ1,σ1 2)X_1 \sim N(\mu_1, \sigma_1^{\, 2})$，$X2∼N(μ2,σ2 2)X_2 \sim N(\mu_2, \sigma_2^{\, 2})$ にそれぞれ従うとき，$X1+X2X_1 + X_2$ の積率母関数を計算する．この時，積率母関数が同じ形になっていることを示す．

$$MX1+X2=E[et(X1+X2)]=E[etX1etX2]=E[etX1etX2]=E[etX1]E[etX2]=exp⁡(μ1t+12σ1 2t2)⋅exp⁡(μ2t+12σ2 2t2)=exp⁡((μ1+μ2)t+12(σ1 2+σ2 2)t2) \begin{align*} M_{X_1+X_2} &= E[e^{t(X_1 + X_2)}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}]E[e^{tX_2}] \\ &= \exp\left(\mu_1 t + \frac{1}{2} \sigma_1^{\, 2}t^2 \right) \cdot \exp\left(\mu_2 t + \frac{1}{2} \sigma_2^{\, 2}t^2 \right) \\ &= \exp\left((\mu_1+\mu_2)t + \frac{1}{2} (\sigma_1^{\, 2} + \sigma_2^{\, 2})t^2 \right) \end{align*}$$

指数分布

ある期間（単位時間）あたりに平均して $λ\lambda$ ($λ>0\lambda > 0$) 回起こる現象が，次に起こるまでの期間を $XX$ とする．^[5]このとき $XX$ の従う分布を指数分布といい，確率密度関数は

$$f(x)={λe−λx(x>0)0(x≤0) \begin{equation*} f(x) = \left\{ \begin{gathered} \lambda e^{-\lambda x} &(x > 0)\\ 0 &(x \leq 0) \end{gathered} \right. \end{equation*}$$

となり，$Exp(λ)Exp(\lambda)$ で表す．ランダムなイベントの発生間隔を表す分布であり， 例えば「地震が起きる間隔」や「電球の寿命」は（おおよそ）指数分布に従うと言われている．

$X∼Exp(λ)X \sim Exp(\lambda)$ の累積分布関数は，

$$F(x)=P(X≤x)=1−e−λx,x>0 \begin{align} F(x) = P(X \leq x) = 1 - e^{-\lambda x}, \quad x > 0 \end{align}$$

と明示的に書ける．

(11)の証明

累積分布関数の定義から求める

$$F(x)=P(X≤x)=∫−∞xf(t) dt=∫0xλe−λt dt=∫0x(−e−λt)′ dt=[−e−λt]0x=−e−λx−(−e0)=1−e−λx \begin{align*} F(x) &= P(X \leq x) \\ &= \int_{-\infty}^{x} f(t) \, dt \\ &= \int_{0}^{x} \lambda e^{-\lambda t} \, dt \\ &= \int_{0}^{x} (-e^{-\lambda t})^\prime \, dt \\ &= \left[-e^{-\lambda t}\right]_{0}^{x} \\ &= -e^{-\lambda x} - (-e^0) \\ &= 1 - e^{-\lambda x} \end{align*}$$

他の分布との関連を以下の表にまとめる．

分布一覧	指数分布との関係
ポアソン分布	ポアソン分布はある期間に起こる回数に関する分布であり，指数分布は次に起こるまでの期間に関する分布である．
幾何分布	幾何分布は，指数分布の離散バージョンである．
ガンマ分布	ガンマ分布は指数分布の一般化であり，指数分布はガンマ分布のパラメータ 形状母数 $α\alpha$ を $11$ としたもの．

$X∼Exp(λ)X \sim Exp(\lambda)$ のとき，平均と分散は

$$E[X]=1λV[X]=1λ2 \begin{align} E[X] &= \frac{1}{\lambda} \\ V[X] &= \frac{1}{\lambda^2} \end{align}$$

となる．

(12)の証明

期待値の定義から求める

$$E[X]=∫−∞∞xf(x) dx=∫0∞x⋅λe−λx dx=∫0∞x⋅(−e−λx)′ dx=[x(−e−λx)]0∞−∫0∞−e−λx dx=[−e−λxx]0∞+1λ∫0∞λe−λx dx=0−0+1λ(∵∫0∞λe−λx dx=1)=1λ \begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{0}^{\infty} x \cdot \lambda e^{-\lambda x} \, dx \\ &= \int_{0}^{\infty} x \cdot (-e^{-\lambda x})^\prime \, dx \\ &= \left[x(-e^{-\lambda x}) \right]_{0}^{\infty} - \int_{0}^{\infty} -e^{-\lambda x} \, dx \\ &= \left[-e^{-\lambda x}x \right]_{0}^{\infty} + \frac{1}{\lambda} \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx \\ &= 0 - 0 + \frac{1}{\lambda} \quad(\because \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx = 1) \\ &= \frac{1}{\lambda} \end{align*}$$

(13)の証明

$E[X2]E[X^2]$ を求め，式(9) $V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2$ より求める

$$E[X2]=∫−∞∞x2f(x) dx=∫0∞x2⋅λe−λx dx=∫0∞x2⋅(−e−λx)′ dx=[x2(−e−λx)]0∞−∫0∞−2xe−λx dx=[−e−λxx2]0∞−∫0∞2xλ⋅(e−λx)′ dx=0−0−[2xλ(−e−λx)]0∞+∫0∞2λ⋅e−λx dx=−(0−0)+2λ2∫0∞λe−λx dx=2λ2(∵∫0∞λe−λx dx=1)∴V[X]=E[X2]−(E[X])2=2λ2−(1λ)2=1λ2 \begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\ &= \int_{0}^{\infty} x^2 \cdot \lambda e^{-\lambda x} \, dx \\ &= \int_{0}^{\infty} x^2 \cdot (-e^{-\lambda x})^\prime \, dx \\ &= \left[x^2(-e^{-\lambda x}) \right]_{0}^{\infty} - \int_{0}^{\infty} -2xe^{-\lambda x} \, dx \\ &= \left[-e^{-\lambda x}x^2 \right]_{0}^{\infty} - \int_{0}^{\infty} \frac{2x}{\lambda} \cdot (e^{-\lambda x})^\prime \, dx \\ &= 0 - 0 - \left[\frac{2x}{\lambda}(-e^{-\lambda x}) \right]_{0}^{\infty} + \int_{0}^{\infty} \frac{2}{\lambda} \cdot e^{-\lambda x} \, dx \\ &= - (0 - 0) + \frac{2}{\lambda^2} \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx \\ &= \frac{2}{\lambda^2} \quad(\because \int_{0}^{\infty} \lambda e^{-\lambda x} \, dx = 1) \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 \\ &= \frac{1}{\lambda^2} \end{align*}$$

また，積率母関数は以下のようになる．

$$M(t)=λλ−t=(1−1λt)−1,t<λ \begin{align} M(t) = \frac{\lambda}{\lambda - t} = \left(1 - \frac{1}{\lambda}t\right)^{-1}, \quad t < \lambda \end{align}$$

積率母関数を使った期待値と分散の計算

$E[X]=M′(0)E[X] = M^\prime(0)$ を用いて期待値を求める．

$$E[X]=M′(0)={(1−1λt)−1}′∣t=0={−1(1−1λt)−2⋅−1λ}∣t=0={(1−1λ⋅0)−2⋅1λ}=1λ \begin{align*} E[X] &= M^\prime(0) \\ &= \left.\left\{\left(1 - \frac{1}{\lambda}t\right)^{-1} \right\}^\prime\right|_{t=0} \\ &= \left.\left\{-1 \left(1 - \frac{1}{\lambda}t\right)^{-2} \cdot -\frac{1}{\lambda} \right\}\right|_{t=0} \\ &= \left\{\left(1 - \frac{1}{\lambda} \cdot 0\right)^{-2} \cdot \frac{1}{\lambda} \right\} \\ &= \frac{1}{\lambda} \end{align*}$$

$E[X2]=M′′(0)E[X^2] = M^{\prime\prime}(0)$ を用いて分散を求める．

$$E[X2]=M′′(0)={(1−1λt)−1}′′∣t=0={2(1−1λt)−3⋅(−1λ)2}∣t=0={2(1−1λ⋅0)−3⋅(−1λ)2}=2λ2∴V[X]=E[X2]−(E[X])2=2λ2−(1λ)2=1λ2 \begin{align*} E[X^2] &= M^{\prime\prime}(0) \\ &= \left.\left\{\left(1 - \frac{1}{\lambda}t\right)^{-1} \right\}^{\prime\prime}\right|_{t=0} \\ &= \left.\left\{2 \left(1 - \frac{1}{\lambda}t\right)^{-3} \cdot \left(-\frac{1}{\lambda}\right)^2\right\}\right|_{t=0} \\ &= \left\{2 \left(1 - \frac{1}{\lambda} \cdot 0\right)^{-3} \cdot \left(-\frac{1}{\lambda}\right)^2\right\} \\ &= \frac{2}{\lambda^2} \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{2}{\lambda^2} - \left(\frac{1}{\lambda}\right)^2 \\ &= \frac{1}{\lambda^2} \end{align*}$$

(14)の証明

積率母関数の定義より求める．

$$M(t)=E[etX]=∫0∞etxf(x) dx=∫0∞etxλe−λx dx=∫0∞λe(−λ+t)x dx=∫0∞λ⋅λ−tλ−te−(λ−t)x dx=λλ−t∫0∞(λ−t)e−(λ−t)x dx=λλ−t(∵∫0∞(λ−t)e−(λ−t)x dx=1)=(1−1λt)−1 \begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{0}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{0}^{\infty} e^{tx} \lambda e^{-\lambda x} \, dx \\ &= \int_{0}^{\infty} \lambda e^{(-\lambda + t)x} \, dx \\ &= \int_{0}^{\infty} \lambda \cdot \frac{\lambda - t}{\lambda - t} e^{-(\lambda - t)x} \, dx \\ &= \frac{\lambda}{\lambda - t} \int_{0}^{\infty} (\lambda - t) e^{-(\lambda - t)x} \, dx \\ &= \frac{\lambda}{\lambda - t} \quad(\because \int_{0}^{\infty} (\lambda - t) e^{-(\lambda - t)x} \, dx = 1) \\ &= \left(1 - \frac{1}{\lambda}t\right)^{-1} \end{align*}$$

さらに，指数分布の無記憶性と呼ばれる性質として，$X∼Exp(λ)X \sim Exp(\lambda)$ のとき

$$P(X≥t1+t2∣X≥t1)=P(X≥t2),t1,t2≥0 \begin{align} P(X \geq t_1 + t_2 | X \geq t_1) = P(X \geq t_2), \quad t_1, t_2 \geq 0 \end{align}$$

が成り立つ．

(15)の証明

$t≥0t\geq0$ に対して $P(X≥t)=1−F(t)=e−λtP(X \geq t) = 1 - F(t) = e^{-\lambda t}$ となるため，$t1,t2≥0t_1, t_2 \geq 0$ に対して $P(X≥t1+t2∣X≥t1)=e−λ(t1+t2)/e−λt1=e−λt2=P(X≥t2)P(X \geq t_1 + t_2 | X \geq t_1) = e^{-\lambda(t_1 + t_2)} / e^{-\lambda t_1} = e^{-\lambda t_2} = P(X \geq t_2)$ となることからわかる．

ガンマ分布

ある期間 $β\beta$ ごとに平均して $11$ 回起こる現象が，$α\alpha$ 回起きるまでの期間（時間）を $XX$ とする．このとき $XX$ の従う分布を，形状母数 $α\alpha$，尺度母数 $β\beta$の ガンマ分布といい，確率密度関数は

$$f(x)={1Γ(α)βαxα−1e−xβ(x>0)0(x≤0) \begin{equation*} f(x) = \left\{ \begin{gathered} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} &(x > 0)\\ 0 &(x \leq 0) \end{gathered} \right. \end{equation*}$$

となり，$Ga(α,β)Ga(\alpha, \beta)$ で表す．ここで，$Γ(α)\Gamma(\alpha)$ はガンマ関数

$$Γ(α)≔∫0∞xα−1e−x dx,α>0 \begin{align} \Gamma(\alpha) \coloneqq \int_{0}^{\infty} x^{\alpha-1} e^{-x} \, dx, \quad \alpha > 0 \end{align}$$

を表す．特に $α=1\alpha = 1$ の場合のガンマ分布 $Ga(1,β)Ga(1, \beta)$ は，$λ=1/β\lambda = 1/\beta$ とした指数分布 $Exp(1/β)Exp(1/\beta)$ である．^[6]

α=1 の場合のガンマ分布が指数分布になることの証明

ガンマ分布の確率密度関数の形状母数 $α\alpha$ に $11$ を代入して求める^[7]

$$f(x)=1Γ(1)β1x1−1e−xβ=10!βx0e−xβ(∵Γ(1)=(1−1)!=0!)=1βe−xβ \begin{align*} f(x) &= \frac{1}{\Gamma(1)\beta^1} x^{1 - 1} e^{-\frac{x}{\beta}} \\ &= \frac{1}{0!\beta} x^0 e^{-\frac{x}{\beta}} \quad(\because \Gamma(1) = (1-1)! = 0!) \\ &= \frac{1}{\beta} e^{-\frac{x}{\beta}} \end{align*}$$

この式は，パラメータ $1/β1/\beta$ である指数分布の確率密度関数に一致する．

ガンマ分布が確率密度関数になることの証明

全確率が $11$ になることを示す

$$∫0∞f(x) dx=∫0∞1Γ(α)βαxα−1e−xβ dx=1Γ(α)βα∫0∞xα−1e−xβ dx \begin{align*} \int_{0}^{\infty} f(x) \, dx &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\ &= \frac{1}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \end{align*}$$

ここで，$xβ=t\frac{x}{\beta} = t$ という置換積分を行う．
すると，$dx=βdtdx = \beta dt$ となるので，次のように変形できる．

$$=1Γ(α)βα∫0∞(βt)α−1e−t(βdt)=βαΓ(α)βα∫0∞tα−1e−t dt=βαΓ(α)βα⋅Γ(α)(∵(29))=1 \begin{align*} &= \frac{1}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} (\beta t)^{\alpha-1} e^{-t} (\beta dt) \\ &= \frac{\beta^{\alpha}}{\Gamma(\alpha)\beta^{\alpha}} \int_{0}^{\infty} t^{\alpha-1} e^{-t} \, dt \\ &= \frac{\beta^{\alpha}}{\Gamma(\alpha)\beta^{\alpha}} \cdot \Gamma(\alpha) \quad(\because (29)) \\ &= 1 \end{align*}$$

$X∼Ga(α,β)X \sim Ga(\alpha, \beta)$ のとき，平均と分散は

$$E[X]=αβV[X]=αβ2 \begin{align} E[X] &= \alpha\beta \\ V[X] &= \alpha\beta^2 \end{align}$$

となる．

(17)の証明

①期待値の定義から求める

$$E[X]=∫−∞∞xf(x) dx=∫0∞x⋅1Γ(α)βαxα−1e−xβ dx=∫0∞1Γ(α)βαx(α+1)−1e−xβ dx=∫0∞αβ1αΓ(α)βα+1x(α+1)−1e−xβ dx=αβ∫0∞1Γ(α+1)βα+1x(α+1)−1e−xβ dx(∵Γ(α+1)=αΓ(α))=αβ(∵∫0∞1Γ(α+1)βα+1x(α+1)−1e−xβ dx=1) \begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{0}^{\infty} x \cdot \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\ &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \\ &= \int_{0}^{\infty} \alpha\beta\frac{1}{\alpha\Gamma(\alpha)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \\ &= \alpha\beta \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+1)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx \quad(\because \Gamma(\alpha+1) = \alpha\Gamma(\alpha)) \\ &= \alpha\beta \quad\left(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+1)\beta^{\alpha+1}} x^{(\alpha+1)-1} e^{-\frac{x}{\beta}} \, dx = 1\right) \end{align*}$$

②指数分布から考える
$X1,X2,…,XnX_1, X_2, \dots, X_n$ が互いに独立に指数分布 $Exp(λ)Exp(\lambda)$ に従う時，$Y=X1+X2+⋯+XnY = X_1 + X_2 + \cdots + X_n$ がパラメータが $(n,1/λ)(n, 1/\lambda)$ のガンマ分布に従うので，

$$E[Y]=E[X1+X2+⋯+Xn]=E[X1]+E[X2]+⋯+E[Xn]=nE[X1]=nλ(∵指数分布の期待値は1/λ)=αβ(∵n=α,1/λ=βと置き換えた) \begin{align*} E[Y] &= E[X_1 + X_2 + \cdots + X_n] \\ &= E[X_1] + E[X_2] + \cdots + E[X_n] \\ &= nE[X_1] \\ &= \frac{n}{\lambda} \quad(\because 指数分布の期待値は 1/\lambda) \\ &= \alpha\beta \quad(\because n=\alpha, 1/\lambda = \betaと置き換えた) \end{align*}$$

(18)の証明

① $E[X2]E[X^2]$ を求め，式(9) $V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2$ より求める

$$E[X2]=∫−∞∞x2f(x) dx=∫0∞x2⋅1Γ(α)βαxα−1e−xβ dx=∫0∞1Γ(α)βαx(α+2)−1e−xβ dx=∫0∞(α+1)αβ21(α+1)αΓ(α)βα+2x(α+2)−1e−xβ dx=(α+1)αβ2∫0∞1Γ(α+2)βα+2x(α+2)−1e−xβ dx(∵Γ(α+2)=(α+1)Γ(α+1)=(α+1)αΓ(α))=(α+1)αβ2(∵∫0∞1Γ(α+2)βα+2x(α+2)−1e−xβ dx=1)∴V[X]=E[X2]−(E[X])2=(α+1)αβ2−(αβ)2=αβ2 \begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\ &= \int_{0}^{\infty} x^2 \cdot \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\ &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \\ &= \int_{0}^{\infty} (\alpha+1)\alpha\beta^2 \frac{1}{(\alpha+1)\alpha\Gamma(\alpha)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \\ &= (\alpha+1)\alpha\beta^2 \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+2)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx \quad(\because \Gamma(\alpha+2) = (\alpha+1)\Gamma(\alpha+1) = (\alpha+1)\alpha\Gamma(\alpha)) \\ &= (\alpha+1)\alpha\beta^2 \quad\left(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha+2)\beta^{\alpha+2}} x^{(\alpha+2)-1} e^{-\frac{x}{\beta}} \, dx = 1 \right) \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= (\alpha+1)\alpha\beta^2 - (\alpha\beta)^2 \\ &= \alpha\beta^2 \end{align*}$$

②指数分布から考える
$X1,X2,…,XnX_1, X_2, \dots, X_n$ が互いに独立にの指数分布 $Exp(λ)Exp(\lambda)$ に従う時，$Y=X1+X2+⋯+XnY = X_1 + X_2 + \cdots + X_n$ がパラメータが $(n,1/λ)(n, 1/\lambda)$ のガンマ分布に従うので，

$$V[Y]=V[X1+X2+⋯+Xn]=V[X1]+V[X2]+⋯+V[Xn](∵X1,X2,…,Xnは独立)=nV[X1]=n1λ2(∵指数分布の分散は1/λ2)=αβ2(∵n=α,1/λ=βと置き換えた) \begin{align*} V[Y] &= V[X_1 + X_2 + \cdots + X_n] \\ &= V[X_1] + V[X_2] + \cdots + V[X_n] \quad(\because X_1, X_2, \dots, X_nは独立) \\ &= nV[X_1] \\ &= n\frac{1}{\lambda^2} \quad(\because 指数分布の分散は 1/\lambda^2) \\ &= \alpha\beta^2 \quad(\because n=\alpha, 1/\lambda = \betaと置き換えた) \end{align*}$$

また，積率母関数は以下のようになる．

$$M(t)=(1−βt)−α,t<1β \begin{align} M(t) = (1 - \beta t)^{-\alpha}, \quad t < \frac{1}{\beta} \end{align}$$

積率母関数を使った期待値と分散の計算

$E[X]=M′(0)E[X]=M^\prime(0)$ を用いて期待値を求める．

$$E[X]=M′(0)={(1−βt)−α}′∣t=0={(−α)(1−βt)−α−1⋅(−β)}′∣t=0={αβ(1−βt)−α−1}′∣t=0=αβ \begin{align*} E[X] &= M^\prime(0) \\ &= \left.\left\{(1 - \beta t)^{-\alpha} \right\}^{\prime}\right|_{t=0} \\ &= \left.\left\{(-\alpha)(1 - \beta t)^{-\alpha-1} \cdot (-\beta) \right\}^{\prime}\right|_{t=0} \\ &= \left.\left\{\alpha\beta (1 - \beta t)^{-\alpha-1} \right\}^{\prime}\right|_{t=0} \\ &= \alpha\beta \end{align*}$$

$E[X2]=M′′(0)E[X^2]=M^{\prime\prime}(0)$ を用いて期待値を求める．

$$E[X2]=M′′(0)={(1−βt)−α}′′∣t=0={αβ(−α−1)(1−βt)−α−2⋅(−β)}′′∣t=0={α(α+1)β2(1−βt)−α−2}′′∣t=0=α(α+1)β2∴V[X]=E[X2]−(E[X])2=α(α+1)β2−(αβ)2=αβ2 \begin{align*} E[X^2] &= M^{\prime\prime}(0) \\ &= \left.\left\{(1 - \beta t)^{-\alpha} \right\}^{\prime\prime}\right|_{t=0} \\ &= \left.\left\{\alpha\beta(-\alpha-1)(1 - \beta t)^{-\alpha-2} \cdot (-\beta) \right\}^{\prime\prime}\right|_{t=0} \\ &= \left.\left\{\alpha(\alpha+1)\beta^2 (1 - \beta t)^{-\alpha-2} \right\}^{\prime\prime}\right|_{t=0} \\ &= \alpha(\alpha+1)\beta^2 \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \alpha(\alpha+1)\beta^2 - (\alpha\beta)^2 \\ &= \alpha\beta^2 \end{align*}$$

(19)の証明

積率母関数の定義より求める．

$$M(t)=E[etX]=∫0∞etxf(x) dx=∫0∞etx1Γ(α)βαxα−1e−xβ dx=∫0∞1Γ(α)βαxα−1e−1−βtβx dx=(1−βt)−α∫0∞1Γ(α)(β1−βt)αxα−1e−1−βtβx dx=(1−βt)−α(∵∫0∞1Γ(α)(β1−βt)αxα−1e−1−βtβx=1) \begin{align*} M(t) &= E[e^{tX}] \\ &= \int_{0}^{\infty} e^{tx} f(x) \, dx \\ &= \int_{0}^{\infty} e^{tx} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{x}{\beta}} \, dx \\ &= \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\beta^{\alpha}} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} \, dx \\ &= (1- \beta t)^{-\alpha} \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\left(\frac{\beta}{1-\beta t}\right)^\alpha} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} \, dx \\ &= (1- \beta t)^{-\alpha} \quad(\because \int_{0}^{\infty} \frac{1}{\Gamma(\alpha)\left(\frac{\beta}{1-\beta t}\right)^\alpha} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta}x} = 1) \end{align*}$$

さらに，ガンマ分布には，再生性とよばれる次の性質がある．$X1∼Ga(α1,β)X_1 \sim Ga(\alpha_1, \beta)$，$X1∼Ga(α2,β)X_1 \sim Ga(\alpha_2, \beta)$で，$X1X_1$ と $X2X_2$ が独立ならば，$X1+X2∼Ga(α1+α2,β)X_1 + X_2 \sim Ga(\alpha_1 + \alpha_2, \beta)$ となる．

再生成を持つことの証明

独立な二つの確率変数 $X1X_1$, $X2X_2$ を考える．$X1∼Ga(α1,β)X_1 \sim Ga(\alpha_1, \beta)$，$X1∼Ga(α2,β)X_1 \sim Ga(\alpha_2, \beta)$ にそれぞれ従うとき，$X1+X2X_1 + X_2$ の積率母関数を計算する．^[8]この時，積率母関数が同じ形になっていることを示す．

$$MX1+X2=E[et(X1+X2)]=E[etX1etX2]=E[etX1etX2]=E[etX1]E[etX2]=(1−βt)−α1(1−βt)−α2=(1−βt)−(α1+α2) \begin{align*} M_{X_1+X_2} &= E[e^{t(X_1 + X_2)}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}e^{tX_2}] \\ &= E[e^{tX_1}]E[e^{tX_2}] \\ &= (1 - \beta t)^{-\alpha_1} (1 - \beta t)^{-\alpha_2} \\ &= (1 - \beta t)^{-(\alpha_1+\alpha_2)} \end{align*}$$

ベータ分布

ある試行について，成功数が $mm$ 回，失敗回数が $nn$ 回としたときに，成功する確率を $XX$ とする．このとき区間 $(0,1)(0, 1)$ の $XX$ の従う分布を，パラメータ $(α,β)=(m+1,n+1)(\alpha, \beta) = (m+1, n+1)$ の ベータ分布といい，確率密度関数は

$$f(x)=1B(α,β)xα−1(1−x)β−1,0<x<1 f(x) = \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}, \quad 0 < x < 1$$

となり，$Be(α,β)Be(\alpha, \beta)$ で表す．ここで，$B(α,β)B(\alpha, \beta)$ はベータ関数

$$B(α,β)≔∫01xα−1(1−x)β−1 dx,α>0,β>0 B(\alpha, \beta) \coloneqq \int_{0}^{1} x^{\alpha-1} (1-x)^{\beta-1} \, dx, \quad \alpha>0, \beta>0$$

を表す．ベータ分布はガンマ分布から得ることができる．

ガンマ分布からベータ分布を導けることの証明

2つの独立な確率変数 $X1∼Ga(α1,β)X_1 \sim Ga(\alpha_1, \beta)$，$X2∼Ga(α2,β)X_2 \sim Ga(\alpha_2, \beta)$ に対し， $U=X1/(X1+X2)U = X_1 / (X_1+X_2)$ の従う分布を求める

$(X,Y)(X, Y)$ を確率変数とし，$S=g1(X,Y)S = g_1(X, Y)$, $T=g2(X,Y)T = g_2(X, Y)$ なる変数変換を考え $(S,T)(S, T)$ の同時確率（密度）関数を求める方法は，

1. $s,t→x,ys, t \rightarrow x, y$ の逆変換を考える
2. ヤコビアン $J((s,t)→(x,y))J((s, t) \rightarrow (x, y))$ を求める
3. $X,YX, Y$ の同時確率（密度）関数 $fX,Y(x,y)f_{X, Y}(x, y)$， $X=h1(S,T)X = h_1(S, T)$，$Y=h1(S,T)Y = h_1(S, T)$ を使って $fS,T(s,t)=fX,Y(h1(s,t),h2(s,t))∣J(s,t)∣f_{S, T}(s, t) = f_{X, Y}(h_1(s, t), h_2(s, t))|J(s, t)|$ を求める

$U=X1/(X1+X2)U = X_1 / (X_1+X_2)$，$V=X1+X2V = X_1 + X_2$ の変数変換を考えると，逆変換は

$${u=x1x1+x2v=x1+x2⇔{x1=uvx2=(1−u)v \begin{equation*} \left\{ \begin{aligned} & u = \frac{x_1}{x_1 + x_2} \\ & v = x_1 + x_2 \end{aligned} \right. \\ \\ \Leftrightarrow \left\{ \begin{aligned} & x_1 = uv \\ & x_2 = (1 - u)v \end{aligned} \right. \\ \end{equation*}$$

となり，ヤコビアンは

$$J((u,v)→(x1,x2))=det(∂x1∂u∂x1∂v∂x2∂u∂x2∂v)=det(vu−v1−u)=v(1−u)−u(−v)=v J((u, v) \rightarrow (x_1, x_2)) = det \begin{pmatrix} \frac{\partial x_1}{\partial u} & \frac{\partial x_1}{\partial v} \\ \frac{\partial x_2}{\partial u} & \frac{\partial x_2}{\partial v} \end{pmatrix} = det \begin{pmatrix} v & u \\ -v & 1 - u \end{pmatrix} = v(1 - u) - u(-v) = v$$

となる．したがって，$(U,V)(U, V)$ の同時確率密度関数は

$$fU,V(u,v)=fX1(uv)fX2((1−u)v)z=(1Γ(α1)βα1(uv)α1−1e−uvβ)(1Γ(α2)βα2{(1−u)v}α2−1e−(1−u)vβ)v=(Γ(α1+α2)Γ(α1)Γ(α2)uα1−1(1−u)α2)(1Γ(α1+α2)βα1+α2v(α1+α2)−1e−vβ)=(1B(α1,α2)uα1−1(1−u)α2)(1Γ(α1+α2)βα1+α2v(α1+α2)−1e−vβ)(∵ベータ関数の定義)=f(u)f(v) \begin{align*} f_{U, V}(u, v) &= f_{X_1}(uv) f_{X_2}((1 - u)v)z \\ &= \left( \frac{1}{\Gamma(\alpha_1)\beta^{\alpha_1}} (uv)^{\alpha_1 - 1} e^{-\frac{uv}{\beta}} \right) \left( \frac{1}{\Gamma(\alpha_2)\beta^{\alpha_2}} \{(1-u)v\}^{\alpha_2 - 1} e^{-\frac{(1-u)v}{\beta}} \right) v \\ &= \left( \frac{\Gamma(\alpha_1 + \alpha_2)}{\Gamma(\alpha_1)\Gamma(\alpha_2)} u^{\alpha_1 - 1} (1 - u)^{\alpha_2} \right) \left( \frac{1}{\Gamma(\alpha_1 + \alpha_2) \beta^{\alpha_1 + \alpha_2}} v^{(\alpha_1 + \alpha_2) - 1} e^{-\frac{v}{\beta}} \right) \\ &= \left( \frac{1}{B(\alpha_1, \alpha2)} u^{\alpha_1 - 1} (1 - u)^{\alpha_2} \right) \left( \frac{1}{\Gamma(\alpha_1 + \alpha_2) \beta^{\alpha_1 + \alpha_2}} v^{(\alpha_1 + \alpha_2) - 1} e^{-\frac{v}{\beta}} \right) \quad(\because ベータ関数の定義) \\ &= f(u)f(v) \end{align*}$$

となることから，$UU$ は $Be(α1,α2)Be(\alpha_1, \alpha_2)$ に従うことが示された．

$X∼Be(α,β)X \sim Be(\alpha, \beta)$ のとき，平均と分散は

$$E[X]=αα+βV[X]=αβ(α+β)2(α+β+1) \begin{align} E[X] &= \frac{\alpha}{\alpha + \beta} \\ V[X] &= \frac{\alpha\beta}{(\alpha+\beta)^2 (\alpha+\beta+1)} \end{align}$$

(20)の証明

期待値の定義から求める

$$E[X]=∫−∞∞xf(x) dx=∫01x⋅1B(α,β)xα−1(1−x)β−1 dx=1B(α,β)∫01x(α+1)−1(1−x)β−1 dx=1B(α,β)⋅B(α+1,β)(∵ベータ関数の定義)=Γ(α+β)Γ(α)Γ(β)⋅Γ(α+1)Γ(β)Γ(α+β+1)=Γ(α+β)Γ(α)Γ(β)⋅αΓ(α)Γ(β)(α+β)Γ(α+β)=αα+β \begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{0}^{1} x \cdot \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \int_{0}^{1} x^{(\alpha+1)-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \cdot B(\alpha+1, \beta) \quad(\because ベータ関数の定義) \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+\beta + 1)} \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta) \Gamma(\alpha+\beta)} \\ &= \frac{\alpha}{\alpha + \beta} \end{align*}$$

(21)の証明

$E[X2]E[X^2]$ を求め，式(9) $V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2$ より求める

$$E[X2]=∫−∞∞x2f(x) dx=∫01x2⋅1B(α,β)xα−1(1−x)β−1 dx=1B(α,β)∫01x(α+2)−1(1−x)β−1 dx=1B(α,β)⋅B(α+2,β)=Γ(α+β)Γ(α)Γ(β)⋅Γ(α+2)Γ(β)Γ(α+β+2)=Γ(α+β)Γ(α)Γ(β)⋅(α+1)αΓ(α)Γ(β)(α+β+1)(α+β)Γ(α+β)=(α+2)(α+1)(α+β+1)(α+β)∴V[X]=E[X2]−(E[X])2=(α+1)α(α+β+1)(α+β)−(αα+β)2=(α+1)α(α+β)(α+β)2(α+β+1)−α2(α+β+1)(α+β)2(α+β+1)=α{(α2+αβ+α+β)−(α2+αβ+α)}(α+β)2(α+β+1)=αβ(α+β)2(α+β+1) \begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) \, dx \\ &= \int_{0}^{1} x^2 \cdot \frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \int_{0}^{1} x^{(\alpha+2)-1}(1-x)^{\beta-1} \, dx \\ &= \frac{1}{B(\alpha, \beta)} \cdot B(\alpha+2, \beta) \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{\Gamma(\alpha+2)\Gamma(\beta)}{\Gamma(\alpha+\beta + 2)} \\ &= \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} \cdot \frac{(\alpha+1)\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta+1)(\alpha+\beta)\Gamma(\alpha+\beta)} \\ &= \frac{(\alpha+2)(\alpha+1)}{(\alpha+\beta+1)(\alpha+\beta)} \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \frac{(\alpha+1)\alpha}{(\alpha+\beta+1)(\alpha+\beta)} - \left(\frac{\alpha}{\alpha + \beta}\right)^2 \\ &= \frac{(\alpha+1)\alpha(\alpha+\beta)}{(\alpha+\beta)^2(\alpha+\beta+1)} - \frac{\alpha^2(\alpha+\beta+1)}{(\alpha+\beta)^2(\alpha+\beta+1)} \\ &= \frac{\alpha\{(\alpha^2 + \alpha\beta + \alpha + \beta) - (\alpha^2 + \alpha\beta + \alpha)\}}{(\alpha+\beta)^2(\alpha+\beta+1)} \\ &= \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \end{align*}$$

標準コーシー分布

標準コーシー分布は裾が重い分布であり，平均やより高次のモーメントが存在しない．確率密度関数は

$$f(x)=1π(1+x2) \begin{align} f(x) = \frac{1}{\pi(1+x^2)} \end{align}$$

となり，原点に関して対称ではあるが，$00$ は平均ではない．

標準コーシー分布は一様分布から導けることの証明

確率変数$XX$ が区間 $−π2<X<π2-\frac{\pi}{2} < X < \frac{\pi}{2}$ において，一様分布に従うとき，$Y=tan⁡XY = \tan X$ の従う分布を求める

$XX$ を確率変数とし，$Y=g(X)Y = g(X)$ なる単調増加（減少）である変数変換を考え $YY$ の確率（密度）関数を求める方法^[9]は，

1. $y→xy \to x$ の逆変換を考える
2. 逆変換をした式について，$yy$ の微分 $ddyg−1(y)\frac{d}{dy}g^{-1}(y)$ を求める
3. $XX$ の確率密度関数 $fX(x)f_X(x)$，$ddyg−1(y)\frac{d}{dy}g^{-1}(y)$ を使って $fY(y)=fX(g−1(y))∣ddyg−1(y)∣f_Y(y) = f_X(g^{-1}(y)) |\frac{d}{dy}g^{-1}(y)|$

$Y=tan⁡XY = \tan X$ の変数変換を考えると，逆変換は

$$x=tan⁡−1(y) x = \tan^{-1}(y)$$

となり，これを $yy$ で微分すると，

$$ddyg−1(y)=11+y2 \frac{d}{dy}g^{-1}(y) = \frac{1}{1+y^2}$$

となる．また，$fX(x)=1πf_X(x) = \frac{1}{\pi}$ であるから，

$$fX(g−1(y))=1π f_X(g^{-1}(y)) = \frac{1}{\pi}$$

となる．したがって，$YY$ の確率密度関数は

$$fY(y)=fX(g−1(y))∣ddyg−1(y)∣=1π⋅11+y2=1π(1+y2) \begin{align*} f_Y(y) &= f_X(g^{-1}(y)) |\frac{d}{dy}g^{-1}(y)| \\ &= \frac{1}{\pi} \cdot \frac{1}{1+y^2} \\ &= \frac{1}{\pi(1+y^2)} \end{align*}$$

となることから，$YY$ は標準コーシー分布に従うことが示された．

標準コーシー分布は期待値を持たないことの証明

期待値の定義通りに計算し，確かめる

$$E[X]=∫−∞∞xf(x) dx=∫−∞∞x⋅1π(1+x2) dx=1π∫−∞∞(12log⁡(1+x2))′ dx=1π[12log⁡(1+x2)]−∞∞=1π{lim⁡b→∞12log⁡(1+b2)−lim⁡a→−∞12log⁡(1+a2)}=∞−∞ \begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{-\infty}^{\infty} x \cdot \frac{1}{\pi(1+x^2)} \, dx \\ &= \frac{1}{\pi} \int_{-\infty}^{\infty} \left(\frac{1}{2}\log(1+x^2) \right)^\prime \, dx \\ &= \frac{1}{\pi} \left[\frac{1}{2}\log(1+x^2)\right]_{-\infty}^{\infty} \\ &= \frac{1}{\pi} \left\{ \lim_{b\to\infty}\frac{1}{2}\log(1+b^2) - \lim_{a\to-\infty}\frac{1}{2}\log(1+a^2) \right\} \\ &= \infty - \infty \end{align*}$$

と計算され，積分が収束せずに定義されない．

より一般に，位置母数 $μ\mu$ と尺度母数 $σ>0\sigma > 0$ を導入し，式 $(35)(35)$ の $f(x)f(x)$ に対して

$$1σf(x−μσ)=1πσ(1+(x−μσ)2) \begin{align} \frac{1}{\sigma}f(\frac{x-\mu}{\sigma}) = \frac{1}{\pi\sigma\left(1 + (\frac{x-\mu}{\sigma})^{2}\right)} \end{align}$$

を確率密度関数とする分布を一般にコーシー分布という．

対数正規分布

$Y∼N(μ,σ2)Y \sim N(\mu, \sigma^2)$ のとき，$X=eY(>0)X = e^Y(>0)$は，確率密度関数

$$f(x)=12πσxexp(−(log⁡x−μ)22σ2),x>0 \begin{align} f(x) = \frac{1}{\sqrt{2\pi}\sigma x} exp(-\frac{(\log x - \mu)^2}{2\sigma^2}), \quad x > 0 \end{align}$$

をもつ分布に従う．この確率密度関数をもつ分布を対数正規分布といい，$Λ(μ,σ2)\Lambda(\mu, \sigma^2)$ で表す．$X∼Λ(μ,σ2)X \sim \Lambda(\mu, \sigma^2)$のとき，$log⁡X∼N(μ,σ2)\log X \sim N(\mu, \sigma^2)$ である．

対数正規分布の導出

$X∼N(μ,σ2)X \sim N(\mu, \sigma^2)$ とし，正規分布の確率密度関数 $fX(x)=12πσexp[−(x−μ)22σ2]f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]$ を用いて，対数正規分布の確率密度関数を導出する．

$$FZ(z)=P(Z≤z)ここで，Z=eXの変数変換を考えると=P(eX≤z)=P(X≤log⁡z)=FX(log⁡z)ここで，確率密度関数と累積分布関数の関係f(x)=ddx∫−∞xf(t) dtを計算すれば良くfZ(z)=ddzFX(log⁡z)=FX′(log⁡z)×1z=fX(log⁡z)×1z=12πσexp[−(log⁡z−μ)22σ2]×1z=12πσzexp[−(log⁡z−μ)22σ2] \begin{align*} F_Z(z) &= P(Z \leq z) \\ \\ &ここで， Z = e^X の変数変換を考えると \\ &= P(e^X\leq z) \\ &= P(X \leq \log z) \\ &= F_X(\log z) \\ \\ &ここで，確率密度関数と累積分布関数の関係 f(x) = \frac{d}{dx} \int_{-\infty}^{x} f(t) \, dt を計算すれば良く \\ f_Z(z) &= \frac{d}{dz} F_X(\log z) \\ &= F_X^{\prime}(\log z) \times \frac{1}{z} \\ &= f_X(\log z) \times \frac{1}{z} \\ &= \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(\log z - \mu)^2}{2\sigma^2}\right] \times \frac{1}{z} \\ &= \frac{1}{\sqrt{2\pi}\sigma z} exp\left[-\frac{(\log z - \mu)^2}{2\sigma^2}\right] \end{align*}$$

$X∼Λ(μ,σ2)X \sim \Lambda(\mu, \sigma^2)$ のとき，平均と分散は

$$E[X]=exp⁡(μ+12σ2)V[X]=exp⁡(2μ+σ2)(exp⁡(σ2)−1) \begin{align} E[X] &= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \\ V[X] &= \exp(2\mu+\sigma^2)(\exp(\sigma^2)-1) \end{align}$$

(25)の証明

①期待値の定義から求める

$$E[X]=∫−∞∞xf(x) dx=∫0∞x⋅12πσxexp⁡[−(log⁡x−μ)22σ2] dx=∫0∞12πσexp⁡(−(log⁡x−μ)22σ2) dxここで，log⁡x−μ=tとおくと，xが0から∞へ動くときは，tは−∞から∞へ動くこと，また，x=et+μなので，dx=et+μdtであるからlog⁡x−μ=tの置換積分を行うと=∫−∞∞12πσexp[−t22σ2] et+μdt=exp⁡(μ)∫−∞∞12πσexp⁡[−t22σ2+t] dt=exp⁡(μ)∫−∞∞12πσexp⁡[−t−2σ22σ2] dt=exp⁡(μ)∫−∞∞12πσexp⁡[−(t−σ2)22σ2+σ42σ2] dt=exp⁡(μ)⋅exp⁡(σ42σ2)∫−∞∞12πσexp⁡[−(t−σ2)22σ2] dt=exp⁡(μ+12σ2)(∵∫−∞∞12πσexp[−(t−σ2)22σ2] dt=1) \begin{align*} E[X] &= \int_{-\infty}^{\infty} xf(x) \, dx \\ &= \int_{0}^{\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma x} \exp\left[-\frac{(\log x - \mu)^2}{2\sigma^2}\right] \, dx \\ &= \int_{0}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp(-\frac{(\log x - \mu)^2}{2\sigma^2}) \, dx \\ \\ &ここで，\log x - \mu = t とおくと，x が 0 から \infty へ動くときは，t は -\infty から \infty へ動くこと，\\ &また，x = e^{t + \mu}なので，dx = e^{t + \mu} dtで あるから \log x - \mu = t の置換積分を行うと \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{t^2}{2\sigma^2}\right] \, e^{t + \mu} dt \\ &= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2} + t \right] \, dt \\ &= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t-2\sigma^2}{2\sigma^2}\right] \, dt \\ &= \exp(\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2} + \frac{\sigma^4}{2\sigma^2}\right] \, dt \\ &= \exp(\mu) \cdot \exp\left(\frac{\sigma^4}{2\sigma^2}\right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2}\right] \, dt \\ &= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \quad \left(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(t-\sigma^2)^2}{2\sigma^2}\right] \, dt = 1 \right) \end{align*}$$

② $YY$ が正規分布に従うとき，$eYe^Y$ の期待値を計算する

$$E[eY]=∫−∞∞eyf(y) dy=∫−∞∞ey⋅12πσexp[−(y−μ)22σ2] dy=∫−∞∞12πσexp⁡[−(y−μ)22σ2+y] dy=∫−∞∞12πσexp⁡[−y2−2μy+μ2−2σ2y2σ2] dy=∫−∞∞12πσexp⁡[−{y−(μ+σ2)}2−(2μσ2+σ4)2σ2] dy=exp⁡[2μσ2+σ42σ2]∫−∞∞12πσexp⁡[−{y−(μ+σ2)}22σ2] dy=exp⁡(μ+12σ2)(∵∫−∞∞12πσexp⁡[−{y−(μ+σ2)}22σ2] dy=1) \begin{align*} E[e^Y] &= \int_{-\infty}^{\infty} e^y f(y) \, dy \\ &= \int_{-\infty}^{\infty} e^y \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(y - \mu)^2}{2\sigma^2} + y \right] \, dy \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{y^2 - 2\mu y + \mu^2 - 2\sigma^2 y}{2\sigma^2} \right] \, dy \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2 - (2\mu \sigma^2 + \sigma^4)}{2\sigma^2} \right] \, dy \\ &= \exp\left[\frac{2\mu \sigma^2 + \sigma^4}{2\sigma^2}\right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2}{2\sigma^2} \right] \, dy \\ &= \exp\left(\mu + \frac{1}{2}\sigma^2 \right) \quad (\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + \sigma^2)\}^2}{2\sigma^2} \right] \, dy = 1) \end{align*}$$

(26)の証明

① $E[X2]E[X^2]$ を求め，式(9) $V[X]=E[X2]−(E[X])2V[X] = E[X^2] - (E[X])^2$ より求める

$$E[X2]=∫−∞∞x2f(x) dx=∫0∞x12πσexp(−(log⁡x−μ)22σ2) dxここで，log⁡x−μ=tとおくと，xが0から∞へ動くときは，tは−∞から∞へ動くこと，また，x=et+μなので，dx=et+μdtであり，log⁡x−μ=tの置換積分を行うと=∫−∞∞et+μ12πσexp⁡[−t22σ2] et+μdt=exp⁡(2μ)∫−∞∞12πσexp⁡[−t22σ2+2t] dt=exp⁡(2μ)∫−∞∞12πσexp⁡[−t2−4tσ22σ2] dt=exp⁡(2μ)∫−∞∞12πσexp⁡[−(t−2σ2)22σ2+4σ42σ2] dt=exp⁡(2μ)exp⁡(4σ42σ2)∫−∞∞12πσexp⁡[−(t−2σ2)22σ2] dt=exp⁡(2μ+2σ2)(∵∫−∞∞12πσexp⁡[−(t−2σ2)22σ2] dt=1)∴V[X]=E[X2]−(E[X])2=exp⁡(2μ+2σ2)−{exp⁡(μ+12σ2)}2=exp⁡(2μ+2σ2)−exp⁡(2μ+σ2)=exp⁡(2μ)exp⁡(σ2)exp⁡(σ2)−exp⁡(2μ)exp⁡(σ2)=exp⁡(2μ)exp⁡(σ2)(exp⁡(σ2)−1)=exp⁡(2μ+σ2)(exp⁡(σ2)−1) \begin{align*} E[X^2] &= \int_{-\infty}^{\infty} x^2 f(x) \, dx \\ &= \int_{0}^{\infty} x \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(\log x - \mu)^2}{2\sigma^2}) \, dx \\ \\ &ここで，\log x - \mu = t とおくと，x が 0 から \infty へ動くときは，t は -\infty から \infty へ動くこと，\\ &また，x = e^{t + \mu}なので，dx = e^{t + \mu} dtで あり，\log x - \mu = t の置換積分を行うと \\ &= \int_{-\infty}^{\infty} e^{t + \mu} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2}\right] \, e^{t + \mu} dt \\ &= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2}{2\sigma^2} + 2t \right] \, dt \\ &= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{t^2 - 4t\sigma^2}{2\sigma^2} \right] \, dt \\ &= \exp(2\mu) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} + \frac{4\sigma^4}{2\sigma^2} \right] \, dt \\ &= \exp(2\mu) \exp\left(\frac{4\sigma^4}{2\sigma^2} \right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} \right] \, dt \\ &= \exp\left(2\mu + 2\sigma^2 \right) \quad \left(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(t - 2\sigma^2)^2}{2\sigma^2} \right] \, dt = 1 \right) \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\ &= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\ &= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\ &= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\ &= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1) \end{align*}$$

② $YY$ が正規分布に従うとき，$eYe^Y$ の分散を計算する
$E[X2]=E[X2Y]E[X^2] = E[X^{2Y}]$ であるから，

$$E[e2Y]=∫−∞∞e2yf(y) dy=∫−∞∞e2y⋅12πσexp[−(y−μ)22σ2] dy=∫−∞∞12πσexp⁡[−(y−μ)22σ2+2y] dy=∫−∞∞12πσexp⁡[−y2−2μy+μ2−4σ2y2σ2] dy=∫−∞∞12πσexp⁡[−{y−(μ+2σ2)}2−(4μσ2+4σ4)2σ2] dy=exp⁡[4μσ2+4σ42σ2]12πσexp⁡[−{y−(μ+2σ2)}22σ2] dy=exp⁡(2μ+2σ2)(∵12πσexp⁡[−{y−(μ+2σ2)}22σ2] dy=1)∴V[X]=E[X2]−(E[X])2=exp⁡(2μ+2σ2)−{exp⁡(μ+12σ2)}2=exp⁡(2μ+2σ2)−exp⁡(2μ+σ2)=exp⁡(2μ)exp⁡(σ2)exp⁡(σ2)−exp⁡(2μ)exp⁡(σ2)=exp⁡(2μ)exp⁡(σ2)(exp⁡(σ2)−1)=exp⁡(2μ+σ2)(exp⁡(σ2)−1) \begin{align*} E[e^{2Y}] &= \int_{-\infty}^{\infty} e^{2y} f(y) \, dy \\ &= \int_{-\infty}^{\infty} e^{2y} \cdot \frac{1}{\sqrt{2\pi}\sigma} exp\left[-\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(y - \mu)^2}{2\sigma^2} + 2y \right] \, dy \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{y^2 - 2\mu y + \mu^2 - 4\sigma^2 y}{2\sigma^2} \right] \, dy \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2 - (4\mu\sigma^2 + 4\sigma^4)}{2\sigma^2} \right] \, dy \\ &= \exp\left[\frac{4\mu\sigma^2 + 4\sigma^4}{2\sigma^2}\right] \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2}{2\sigma^2} \right] \, dy \\ &= \exp(2\mu + 2\sigma^2) \quad(\because \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{\{y - (\mu + 2\sigma^2)\}^2}{2\sigma^2} \right] \, dy = 1) \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\ &= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\ &= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\ &= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\ &= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1) \end{align*}$$

正規分布の積率母関数を使った期待値と分散の計算

正規分布 $N(μ,σ2)N(\mu, \sigma^2)$ に従う確率変数 $YY$ に対し，$X=eYX = e^Y$ に従う分布が対数正規分布であることから，$YY$ の積率母関数を用いて平均と分散を計算する．
$YY$ の積率母関数は

$$MY(t)=E[etY]=exp⁡(μt+σ2t22) M_Y(t) = E[e^{tY}] = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)$$

であることから，$YY$ を $XX$ で表すと

$$E[etlog⁡X]=E[elog⁡Xt]=E[Xt]=exp⁡(μt+σ2t22) E[e^{t\log X}] = E[e^{\log X^t}] = E[X^t] = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)$$

となり，対数正規分布の $tt$ 次モーメントが正規分布の積率母関数に対応していることがわかる．つまり，$MY(t)M_Y(t)$ が $XX$ の $tt$ 次モーメントになる．

$E[X]=M(1)E[X] = M(1)$ を用いて期待値を求める．

$$E[X]=M(1)=exp⁡(μt+σ2t22)∣t=1=exp⁡(μ+12σ2) \begin{align*} E[X] &= M(1) \\ &= \left.\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\right|_{t=1} \\ &= \exp\left(\mu + \frac{1}{2}\sigma^2\right) \end{align*}$$

$V[X]=E[X2]−(E[X])2=M(2)−(M(1))2V[X] = E[X^2] - (E[X])^2 = M(2) - (M(1))^2$ を用いて期待値を求める．

$$E[X2]=exp⁡(μt+σ2t22)∣t=2=exp⁡(2μ+2σ2)∴V[X]=E[X2]−(E[X])2=exp⁡(2μ+2σ2)−{exp⁡(μ+12σ2)}2=exp⁡(2μ+2σ2)−exp⁡(2μ+σ2)=exp⁡(2μ)exp⁡(σ2)exp⁡(σ2)−exp⁡(2μ)exp⁡(σ2)=exp⁡(2μ)exp⁡(σ2)(exp⁡(σ2)−1)=exp⁡(2μ+σ2)(exp⁡(σ2)−1) \begin{align*} E[X^2] &= \left.\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\right|_{t=2} \\ &= \exp(2\mu + 2\sigma^2) \\ \\ \therefore V[X] &= E[X^2] - (E[X])^2 \\ &= \exp\left(2\mu + 2\sigma^2 \right) - \left\{\exp\left(\mu + \frac{1}{2}\sigma^2 \right)\right\}^2 \\ &= \exp\left(2\mu + 2\sigma^2 \right) - \exp\left(2\mu + \sigma^2 \right) \\ &= \exp(2\mu) \exp(\sigma^2) \exp(\sigma^2) - \exp(2\mu) \exp(\sigma^2) \\ &= \exp(2\mu)\exp(\sigma^2) (\exp(\sigma^2) - 1) \\ &= \exp(2\mu + \sigma^2) (\exp(\sigma^2) - 1) \end{align*}$$

2変量正規分布

実数 $μ1,μ2\mu_1, \mu_2$ と $σ1>0,σ2>0\sigma_1 > 0, \sigma_2 > 0$，さらに $−1<ρ<1-1 < \rho < 1$ を満たす $ρ\rho$ に対し，確率ベクトル $X=(X1,X2)⊤\mathbf{X} = (X_1, X_2)^\top$ が同時確率密度関数

$$f(x1,x2)=12π∣Σ∣1/2exp⁡[−12(x−μ)⊤Σ−1(x−μ)] \begin{align} f(x_1, x_2) = \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \end{align}$$

をもつとき，$X\mathbf{X}$ は平均ベクトル $μ\pmb{\mu}$，分散共分散行列 $Σ2\Sigma_2$ の2変量正規分布に従うといい，この分布を $N2(μ,Σ2)N_2(\pmb{\mu}, \Sigma_2)$ で表す．ただし

$$μ=(μ1,μ2)⊤,Σ2=(σ1 2ρσ1σ2ρσ1σ2σ2 2) \begin{align} \pmb{\mu} = (\mu_1, \mu_2)^\top, \quad \Sigma_2 = \begin{pmatrix} \sigma_1^{\,2} & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^{\,2} \end{pmatrix} \end{align}$$

とする．

また，(27)式を成分表示すると

$$f(x1,x2)=12πσ1σ21−ρ2×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}] \begin{equation*} \begin{split} &f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \\ & \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \\ \end{split} \end{equation*}$$

となる．パラメータ $ρ\rho$ は $X1X_1$ $X2X_2$ の相関係数を表すが，$ρ=0\rho = 0$ の場合には，同時確率密度関数 $f(x1,x2)f(x_1, x_2)$ が，$N(μ1,σ1 2)N(\mu_1, \sigma_1^{\,2})$ と $N(μ2,σ2 2)N(\mu_2, \sigma_2^{\,2})$ の確率密度関数の積に分かれ，$X1X_1$ と $X2X_2$ は独立になる．

2変量正規分布の確率密度関数の導出

独立な標準正規分布 $Z=(Z1,Z2)⊤\mathbf{Z} = (Z_1, Z_2)^\top$ の変数変換より求める

$Z1,Z2Z_1, Z_2$ がそれぞれ独立に標準正規分布 $N2(0,I2)N_2(\mathbf{0}, I_2)$ に従うとする．ことのき，$Z\mathbf{Z}$ の同時確率密度関数 $gg$ は

$$gZ(z)=gZ1(z1)×gZ2(z2)=1(2π)2exp⁡[−z12+z222]=12πexp⁡[−z⊤z2] \begin{align*} g_{\mathbf{Z}}(\mathbf{z}) &= g_{Z_1}(z_1) \times g_{Z_2}(z_2) \\ &= \frac{1}{(\sqrt{2\pi})^2} \exp\left[-\frac{z_1^2 + z_2^2}{2}\right] \\ &= \frac{1}{2\pi} \exp\left[-\frac{\mathbf{z}^\top \mathbf{z}}{2}\right] \\ \end{align*}$$

となる．ここで2変量の正規分布に拡張するために，線形変換を用いて定義される確率変数 $X=AZ+μ\mathbf{X} = A\mathbf{Z} + \pmb{\mu}$ を導入する．

$$X=(X1,X2)⊤μ=(μ1,μ2)⊤ \begin{align*} \mathbf{X} &= (X_1, X_2)^\top \\ \pmb{\mu} &= (\mu_1, \mu_2)^\top \end{align*}$$

ただし，$A∈R2×2A \in \R^{2 \times 2}$ は正則であり，$μ\pmb{\mu}$ は期待値を結合したベクトルを表す．

確率変数 $X\mathbf{X}$ は線形変換 $AA$ を用いて定義されているので，$Z1,Z2Z_1, Z_2$ が持っていた独立性は失われる．

ここで，$X=AZ+μ\mathbf{X} = A\mathbf{Z} + \pmb{\mu}$, $Y=W\mathbf{Y} = \mathbf{W}$ の変数変換を考えると，逆変換は

$${X=AZ+μY=W⇔{Z=A−1(X−μ)W=Y \begin{equation*} \left\{ \begin{aligned} & \mathbf{X} = A\mathbf{Z} + \pmb{\mu} \\ & \mathbf{Y} = \mathbf{W} \end{aligned} \right. \\ \\ \Leftrightarrow \left\{ \begin{aligned} & \mathbf{Z} = A^{-1}(\mathbf{X} - \pmb{\mu}) \\ & \mathbf{W} = \mathbf{Y} \end{aligned} \right. \\ \end{equation*}$$

となり，ヤコビアンは

$$J((Z,W)→(X,Y))=det(∂Z∂X∂Z∂Y∂W∂X∂W∂Y)=det(A−1O2O2I2)=∣A−1∣∣I2−O2AO2∣(∵∣A∣≠0のとき，∣Z∣=∣ABCD∣=∣A∣∣D−CA−1B∣)=∣A−1∣=∣A∣−1(∵Aが正則なら，∣A−1∣=∣A∣−1) \begin{align*} J((\mathbf{Z}, \mathbf{W}) \rightarrow (\mathbf{X}, \mathbf{Y})) &= det \begin{pmatrix} \frac{\partial \mathbf{Z}}{\partial \mathbf{X}} & \frac{\partial \mathbf{Z}}{\partial \mathbf{Y}} \\ \frac{\partial \mathbf{W}}{\partial \mathbf{X}} & \frac{\partial \mathbf{W}}{\partial \mathbf{Y}} \end{pmatrix} \\ &= det \begin{pmatrix} A^{-1} & O_2 \\ O_2 & I_2 \end{pmatrix} \\ &= |A^{-1}||I_2 - O_2AO_2| \quad\left(\because |A| \neq 0のとき，|Z| = \begin{vmatrix} A&B \\ C&D \end{vmatrix} = |A||D-CA^{-1}B|\right) \\ &= |A^{-1}| \\ &= |A|^{-1} \quad(\because Aが正則なら，|A^{-1}|=|A|^{-1}) \end{align*}$$

となる．ここで $fX(x)=gZ(z)⋅abs∣A∣−1f_{\mathbf{X}}(\mathbf{x}) = g_{\mathbf{Z}}(\mathbf{z}) \cdot abs|A|^{-1}$ であるから，

$$fX(x)=12πexp⁡[−{A−1(x−μ)}⊤{A−1(x−μ)}2]⋅abs∣A∣−1=12πexp⁡[−(x−μ)⊤(A−1)⊤A−1(x−μ)2]⋅abs∣A∣−1=12πexp⁡[−(x−μ)⊤(A⊤)−1A−1(x−μ)2]⋅abs∣A∣−1=12πexp⁡[−(x−μ)⊤(AA⊤)−1(x−μ)2]⋅abs∣A∣−1 \begin{align*} f_{\mathbf{X}}(\mathbf{x}) &= \frac{1}{2\pi} \exp\left[-\frac{\{A^{-1}(\mathbf{x} - \pmb{\mu})\}^\top \{A^{-1}(\mathbf{x} - \pmb{\mu})\}}{2}\right] \cdot abs|A|^{-1} \\ &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (A^{-1})^\top A^{-1}(\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\ &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (A^\top)^{-1} A^{-1}(\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\ &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (AA^\top)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right] \cdot abs|A|^{-1} \\ \end{align*}$$

あとは $AA⊤AA^\top$ と $abs∣A∣−1abs|A|^{-1}$ を求めれば導出が完了する．


まずは，$AA⊤AA^\top$ から求める．$XX$ の分散を求めると，

$$V[X]=E[(X−μ)(X−μ)⊤]=E[AZ(AZ)⊤]=E[AZZ⊤A⊤]=AE[ZZ]A⊤(∵E[AXB]=AE[X]B) \begin{align*} V[\mathbf{X}] &= E[(\mathbf{X} - \pmb{\mu})(\mathbf{X} - \pmb{\mu})^\top] \\ &= E[A\mathbf{Z}(A\mathbf{Z})^\top] \\ &= E[A\mathbf{Z}\mathbf{Z}^\top A^\top] \\ &= AE[\mathbf{Z}\mathbf{Z}]A^\top \quad(\because E[AXB] = AE[X]B) \end{align*}$$

ここで $Z\mathbf{Z}$ は2次元標準正規分布に従うことから，
$V[Z]=E[ZZ⊤]=I2V[\mathbf{Z}] = E[\mathbf{Z}\mathbf{Z}^\top] = I_2$ であるので，

$$V[X]=AA⊤=Σ2(∵Xの分散共分散行列をΣ2とおいた) \begin{align*} V[\mathbf{X}] &= AA^\top \\ &= \Sigma_2 \quad(\because \mathbf{X}の分散共分散行列を\Sigma_2とおいた) \end{align*}$$

つぎに，$abs∣A∣−1abs|A|^{-1}$を求める．$AA⊤=ΣAA^\top = \Sigma$ の関係を使う．

$$abs∣Σ∣=abs∣AA⊤∣=abs∣A∣⋅abs∣A⊤∣(∵∣AB∣=∣A∣∣B∣)=abs∣A∣⋅abs∣A∣(∵∣A⊤∣=∣A∣)=(abs∣A∣)2∴abs∣A∣=(abs∣Σ2∣)1/2=∣Σ2∣1/2(∵分散共分散行列は半正定値行列であるから∣Σ2∣≥0)∴abs∣A∣−1=∣Σ2∣−1/2 \begin{align*} abs|\Sigma| &= abs|AA^\top| \\ &= abs|A| \cdot abs|A^\top| \quad(\because |AB|=|A||B|) \\ &= abs|A| \cdot abs|A| \quad(\because |A^\top| = |A|) \\ &= (abs|A|)^2 \\ \\ \therefore abs|A| &= (abs|\Sigma_2|)^{1/2} \\ &= |\Sigma_2|^{1/2} \quad(\because 分散共分散行列は半正定値行列であるから|\Sigma_2| \geq 0) \\ \therefore abs|A|^{-1} &= |\Sigma_2|^{-1/2} \end{align*}$$

求めた $AA⊤AA^\top$ と $abs∣A∣−1abs|A|^{-1}$ を $fX(x)f_{\mathbf{X}}(\mathbf{x})$ の式に代入して

$$fX(x)=12πexp⁡[−(x−μ)⊤(Σ2)−1(x−μ)2]⋅∣Σ2∣−1/2=12π∣Σ2∣1/2exp⁡[−(x−μ)⊤(Σ2)−1(x−μ)2] \begin{align*} f_{\mathbf{X}}(\mathbf{x}) &= \frac{1}{2\pi} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right] \cdot |\Sigma_2|^{-1/2} \\ &= \frac{1}{2\pi|\Sigma_2|^{1/2}} \exp\left[-\frac{(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})}{2}\right] \end{align*}$$

成分表示の証明

(28)を用いて(27)式を行列表示を成分表示に戻す

まずは，$∣Σ∣1/2|\Sigma|^{1/2}$ を計算する．

$$∣Σ∣1/2=∣σ1 2ρσ1σ2ρσ1σ2σ2 2∣1/2={σ1 2⋅σ2 2−(ρσ1σ2)2}1/2={σ1 2σ2 2(1−ρ2)}1/2=σ1σ21−ρ2 \begin{align*} |\Sigma|^{1/2} &= \begin{vmatrix} \sigma_1^{\, 2} & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^{\, 2} \end{vmatrix}^{1/2} \\ &= \{\sigma_1^{\, 2} \cdot \sigma_2^{\, 2} - (\rho\sigma_1\sigma_2)^2\}^{1/2} \\ &= \{\sigma_1^{\, 2}\sigma_2^{\, 2}(1 - \rho^2)\}^{1/2} \\ &= \sigma_1\sigma_2\sqrt{1 - \rho^2} \end{align*}$$

次に $(x−μ)⊤(Σ2)−1(x−μ)(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})$ を計算する．

$$Σ−1=1σ1 2σ2 2(1−ρ2)(σ2 2−ρσ1σ2−ρσ1σ2σ1 2)=11−ρ2(1σ1 2−ρσ1σ2−ρσ1σ21σ2 2) \begin{align*} \Sigma^{-1} &= \frac{1}{\sigma_1^{\, 2}\sigma_2^{\, 2}(1 - \rho^2)} \begin{pmatrix} \sigma_2^{\,2} & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^{\,2} \end{pmatrix} \\ &= \frac{1}{1-\rho^2}\begin{pmatrix} \frac{1}{\sigma_1^{\, 2}} & -\frac{\rho}{\sigma_1\sigma_2} \\ -\frac{\rho}{\sigma_1\sigma_2} & \frac{1}{\sigma_2^{\, 2}} \end{pmatrix} \end{align*}$$

$$(x−μ)⊤(Σ2)−1(x−μ)=11−ρ2(x1−μ1x2−μ2)(1σ1 2−ρσ1σ2−ρσ1σ21σ2 2)(x1−μ1x2−μ2)=11−ρ2(1σ1 2(x1−μ1)−ρσ1σ2(x1−μ1)−ρσ1σ2(x2−μ2)+1σ2 2(x2−μ2))(x1−μ1x2−μ2)=11−ρ2{1σ1 2(x1−μ1)2−ρσ1σ2(x1−μ1)(x2−μ2)−ρσ1σ2(x1−μ1)(x2−μ2)+1σ2 2(x2−μ2)2}=11−ρ2{(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2} \begin{align*} (\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu}) &= \frac{1}{1-\rho^2} \begin{pmatrix} x_1 - \mu_1 & x_2 -\mu_2 \end{pmatrix} \begin{pmatrix} \frac{1}{\sigma_1^{\, 2}} & -\frac{\rho}{\sigma_1\sigma_2} \\ -\frac{\rho}{\sigma_1\sigma_2} & \frac{1}{\sigma_2^{\, 2}} \end{pmatrix} \begin{pmatrix} x_1 - \mu_1 \\ x_2 -\mu_2 \end{pmatrix} \\ &= \frac{1}{1-\rho^2} \begin{pmatrix} \frac{1}{\sigma_1^{\, 2}}(x_1 - \mu_1) - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1) \\ -\frac{\rho}{\sigma_1\sigma_2}(x_2 - \mu_2) + \frac{1}{\sigma_2^{\, 2}}(x_2 - \mu_2) \end{pmatrix} \begin{pmatrix} x_1 - \mu_1 \\ x_2 -\mu_2 \end{pmatrix} \\ &= \frac{1}{1-\rho^2} \left\{ \frac{1}{\sigma_1^{\, 2}}(x_1 - \mu_1)^2 - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1)(x_2 - \mu_2) - \frac{\rho}{\sigma_1\sigma_2}(x_1 - \mu_1)(x_2 - \mu_2) + \frac{1}{\sigma_2^{\, 2}}(x_2 - \mu_2)^2 \right\} \\ &= \frac{1}{1-\rho^2} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \end{align*}$$

求めた $∣Σ∣1/2|\Sigma|^{1/2}$ と $(x−μ)⊤(Σ2)−1(x−μ)(\mathbf{x} - \pmb{\mu})^\top (\Sigma_2)^{-1} (\mathbf{x} - \pmb{\mu})$ を(40)式に代入して

$$f(x1,x2)=12πσ1σ21−ρexp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}] f(x_1, x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho}} \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right]$$

ρ=0 のときの同時確率密度関数

成分表示した同時確率密度関数に $ρ=0\rho=0$ を代入し，2つの正規分布の確率密度関数で表せることを示す

$$\begin{align*} f(x_1, x_2) &= \frac{1}{2\pi\sigma_1\sigma_2} \exp\left[-\frac{1}{2} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \\ &= \frac{1}{\sqrt{2\pi}\sigma_1}\frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[ -\frac{1}{2} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \exp\left[ -\frac{1}{2} \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right] \\ &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[ -\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\, ^2}} \right] \times \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[ -\frac{(x_2 - \mu_2)^2}{2\sigma_2^{\, ^2}} \right] \end{align*}$$

$X∼N2(μ,Σ2)\mathbf{X} \sim N_2(\pmb{\mu}, \Sigma_2)$ のとき，平均ベクトルと分散共分散行列は

$$E[X]=μV[X]=Σ2 \begin{align} E[\mathbf{X}] &= \pmb{\mu} \\ V[\mathbf{X}] &= \Sigma_2 \end{align}$$

となる．

(29)の証明

平均ベクトルの定義から求める

2次元分布の期待値は，

$$E[X]=(E[X1]E[X2]) \begin{align*} E[\mathbf{X}] = \begin{pmatrix} E[X_1] \\ E[X_2] \end{pmatrix} \end{align*}$$

と定義されるので，$X1X_1$，$X2X_2$ それぞれの期待値を求める．

$X1X_1$ の期待値は

$$E[X1]=∫−∞∞∫−∞∞x1f(x1,x2) dx1dx2=∫−∞∞x1(∫−∞∞f(x1,x2) dx2) dx1=∫−∞∞x1f(x1) dx1(∵∫−∞∞f(x1,x2) dx2はx1の周辺確率密度関数である)=μ1(∵X1∼(μ1,σ1 2)) \begin{align*} E[X_1] &= \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} x_1 f(x_1, x_2) \, dx_1dx_2 \\ &= \int_{-\infty}^{\infty} x_1 \left(\int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 \right) \, dx_1 \\ &= \int_{-\infty}^{\infty} x_1 f(x_1) \, dx_1 \quad(\because \int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 は x_1 の周辺確率密度関数である) \\ &= \mu_1 \quad(\because X_1 \sim (\mu_1, \sigma_1^{\,2})) \end{align*}$$

$X2X_2$ の期待値も同様にして $μ2\mu_2$ を得る．
以上より，2変量正規分布の期待値ベクトルは

$$E[X]=(E[X1]E[X2])=(μ1μ2) \begin{align*} E[\mathbf{X}] &= \begin{pmatrix} E[X_1] \\ E[X_2] \end{pmatrix} \\ &= \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix} \end{align*}$$

(30)の証明

分散共分散行列の定義から求める

$$V[X]=E[{x−E(x)}{x−E(x)}⊤]=E[(x−μ)(x−μ)⊤]=E[(x1−μ1x2−μ2)(x1−μ1x2−μ2)]=(E[(x1−μ1)2]E[(x1−μ1)(x2−μ2)]E[(x1−μ1)(x2−μ2)]E[(x2−μ2)2])=(σ1 2σ12σ12σ2 2)=(σ1 2ρσ1σ2ρσ1σ2σ2 2)(∵ρ=σ12σ1σ2)=Σ2 \begin{align*} V[\mathbf{X}] &= E[\{\mathbf{x} - E(\mathbf{x})\}\{\mathbf{x} - E(\mathbf{x})\}^\top] \\ &= E[(\mathbf{x} - \pmb{\mu})(\mathbf{x} - \pmb{\mu})^\top] \\ &= E\left[ \begin{pmatrix} x_1 - \mu_1 \\ x_2 - \mu_2 \end{pmatrix} \begin{pmatrix} x_1 - \mu_1 & x_2 - \mu_2 \end{pmatrix} \right] \\ &= \begin{pmatrix} E[(x_1 - \mu_1)^2] & E[(x_1 - \mu_1)(x_2 - \mu_2)] \\ E[(x_1 - \mu_1)(x_2 - \mu_2)] & E[(x_2 - \mu_2)^2] \\ \end{pmatrix} \\ &= \begin{pmatrix} \sigma_1^{\,2} & \sigma_{12} \\ \sigma_{12} & \sigma_2^{\,2} \end{pmatrix} \\ &= \begin{pmatrix} \sigma_1^{\,2} & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^{\,2} \end{pmatrix} \quad\left( \because \rho = \frac{\sigma_{12}}{\sigma_1\sigma_2} \right)\\ &= \Sigma_2 \end{align*}$$

$X1X_1$ と $X2X_2$ の周辺分布は，それぞれ $N(μ1,σ1 2)N(\mu_1, \sigma_1^{\, 2})$ と $N(μ2,σ2 2)N(\mu_2, \sigma_2^{\, 2})$ となる．

周辺分布の証明

周辺分布の定義から求める

$$f(x1)=∫−∞∞f(x1,x2) dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2){−2ρ(x1−μ1)(x2−μ2)σ1σ2+(x2−μ2σ2)2}]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2)σ2 2{(x2−μ2)2−2ρσ2(x1−μ1)σ1(x2−μ2)}]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}−ρ2σ2 2σ1 2(x1−μ1)2]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2] dx2=∫−∞∞12πσ1σ21−ρ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−(ρ(x1−μ1)σ1)2}] dx2=12πσ1exp⁡[−(x1−μ1)22σ1 2]∫−∞∞12π1−ρ2σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}] dx2ここでx2−μ2=yとおくとdx2=dyであり，1−ρ2σ2=σ，ρσ2σ1(x1−μ1)=μとおくと=12πσ1exp⁡[−(x1−μ1)22σ1 2]∫−∞∞12πσexp⁡[−(y−μ)22σ2] dy=12πσ1exp⁡[−(x1−μ1)22σ1 2](∵∫−∞∞12πσexp⁡[−(y−μ)22σ2] dy=1) \begin{align*} f(x_1) &= \int_{-\infty}^{\infty} f(x_1, x_2) \, dx_2 \\ &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \, dx_2 \\ &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \frac{-2\rho(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\ &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ (x_2 - \mu_2)^2 - \frac{2\rho\sigma_2(x_1 - \mu_1)}{\sigma_1}(x_2 - \mu_2) \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\ &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} - \frac{\rho^2\sigma_2^{\,2}}{\sigma_1^{\,2}}(x_1 - \mu_1)^2 \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \, dx_2 \\ &= \int_{-\infty}^{\infty} \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1 - \rho^2}} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - \left(\frac{\rho(x_1 - \mu_1)}{\sigma_1}\right)^2 \right\} \right] \, dx_2 \\ &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \, dx_2 \\ \\ &ここで x_2 - \mu_2 = yとおくとdx_2 = dyであり，\sqrt{1-\rho^2}\sigma_2 = \sigma，\frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) = \muとおくと \\ &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[ -\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy \\ &= \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \quad(\because \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\left[ -\frac{(y - \mu)^2}{2\sigma^2} \right] \, dy = 1) \end{align*}$$

同様にして，$f(x2)=12πσ2exp⁡[−(x2−μ2)22σ2 2]f(x_2) = \frac{1}{\sqrt{2\pi}\sigma_2} \exp\left[-\frac{(x_2 - \mu_2)^2}{2\sigma_2^{\,2}} \right]$ を得る．
$x1,x2x_1, x_2$ の周辺分布は， それぞれ $N(μ1,σ1 2)N(\mu_1, \sigma_1^{\, 2})$ と $N(μ2,σ2 2)N(\mu_2, \sigma_2^{\, 2})$ の確率密度関数に一致する．

また，$X1=x1X_1 = x_1$ が与えられたときの $X2X_2$ の条件付き分布は，正規分布となり，その期待値^[10]と分散^[11]は

$$E[X2∣X1=x1]=μ2+ρ⋅σ2σ1(x1−μ1)=μ2+σ12σ1 2(x1−μ1)V[X2∣X1=x1]=(1−ρ2)σ2 2=∣Σ∣σ1 2 \begin{align} E[X_2|X_1 = x_1] &= \mu_2 + \rho \cdot \frac{\sigma_2}{\sigma_1}(x_1 - \mu_1) = \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1) \\ V[X_2|X_1 = x_1] &= (1-\rho^2)\sigma_2^{\,2} = \frac{|\Sigma|}{\sigma_1^{\,2}} \end{align}$$

となる．

条件付き分布の証明

条件付き分布の定義から求める

$$f(x2∣x1)=f(x1,x2)f(x1)=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−2ρ(x1−μ1σ1)(x2−μ2σ2)+(x2−μ2σ2)2}]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2){−2ρ(x1−μ1)(x2−μ2)σ1σ2+(x2−μ2σ2)2}]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}−ρ2σ2 2σ1 2(x1−μ1)2]×exp⁡[−12(1−ρ2)(x1−μ1σ1)2]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]×exp⁡[−12(1−ρ2){(x1−μ1σ1)2−(ρ(x1−μ1)σ1)2}]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]×exp⁡[−(x1−μ1)22σ1 2]×exp⁡[(x1−μ1)22σ1 2]=12π(1−ρ2)σ2×exp⁡[−12(1−ρ2)σ2 2{((x2−μ2)−ρσ2σ1(x1−μ1))2}]=12π1−ρ2σ2×exp⁡[−{x2−(μ2+ρσ2σ1(x1−μ1))}22(1−ρ2)σ2 2] \begin{align*} f(x_2|x_1) &= \frac{f(x_1, x_2)}{f(x_1)} \\ &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\ &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2\rho\left(\frac{x_1 - \mu_1}{\sigma_1}\right)\left(\frac{x_2 - \mu_2}{\sigma_2}\right) + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\ &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \frac{-2\rho(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1\sigma_2} + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\ &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} - \frac{\rho^2\sigma_2^{\,2}}{\sigma_1^{\,2}}(x_1 - \mu_1)^2 \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\ &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \times \exp\left[-\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - \left(\frac{\rho(x_1 - \mu_1)}{\sigma_1}\right)^2 \right\} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\ &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \times \exp\left[-\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}} \right] \times \exp\left[\frac{(x_1 - \mu_1)^2}{2\sigma_1^{\,2}}\right] \\ &= \frac{1}{\sqrt{2\pi(1 - \rho^2)}\sigma_2} \times \exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^{\,2}} \left\{ \left((x_2 - \mu_2) - \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)^2 \right\} \right] \\ &= \frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right] \end{align*}$$

これは，$N(μ2+ρσ2σ1(x1−μ1),(1−ρ2)σ2 2)N\left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1), (1-\rho^2)\sigma_2^{\,2}\right)$ の正規分布の確率密度関数である．

(31)の証明

①条件付き分布のパラメータから求める

条件付き分布 $f(x2∣x1)f(x_2|x_1)$ は $12π1−ρ2σ2×exp⁡[−{x2−(μ2+ρσ2σ1(x1−μ1))}22(1−ρ2)σ2 2]\frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right]$ と表せるので，期待値は $μ2+ρσ2σ1(x1−μ1)\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1)$ とわかる．

$$E[X2∣X1]=μ2+ρσ2σ1(x1−μ1)=μ2+σ12σ1 2(x1−μ1)(∵ρ=σ12σ1σ2) \begin{align*} E[X_2|X_1] &= \mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \\ &= \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1) \quad\left(\because \rho = \frac{\sigma_{12}}{\sigma_1\sigma_2}\right) \end{align*}$$

②単回帰による証明

単回帰モデルは $E[X2∣X1=x1]=β0+β1x2E[X_2|X_1 = x_1] = \beta_0 + \beta_1 x_2$ と表せ，$β0=μ2−β1μ1\beta_0 = \mu_2 - \beta_1\mu_1$，$β1=σ12σ1 2\beta_1 = \frac{\sigma_{12}}{\sigma_1^{\,2}}$ であるから，

$$E[X2∣X1]=β0+β1x2=μ2−σ12σ1 2μ1+σ12σ1 2x1=μ2+σ12σ1 2(x1−μ1) \begin{align*} E[X_2|X_1] &= \beta_0 + \beta_1 x_2 \\ &= \mu_2 - \frac{\sigma_{12}}{\sigma_1^{\,2}}\mu_1 + \frac{\sigma_{12}}{\sigma_1^{\,2}}x_1 \\ &= \mu_2 + \frac{\sigma_{12}}{\sigma_1^{\,2}}(x_1 - \mu_1) \end{align*}$$

(32)の証明

条件付き分布のパラメータから求める

条件付き分布 $f(x2∣x1)f(x_2|x_1)$ は $12π1−ρ2σ2×exp⁡[−{x2−(μ2+ρσ2σ1(x1−μ1))}22(1−ρ2)σ2 2]\frac{1}{\sqrt{2\pi}\sqrt{1 - \rho^2}\sigma_2} \times \exp\left[-\frac{\left\{x_2 - \left(\mu_2 + \frac{\rho\sigma_2}{\sigma_1}(x_1 - \mu_1) \right)\right\}^2}{2(1-\rho^2)\sigma_2^{\,2}} \right]$ と表せるので，分散は $(1−ρ2)σ2 2(1-\rho^2)\sigma_2^{\,2}$ とわかる．

$$V[X2∣X1]=(1−ρ2)σ2 2=∣Σ∣σ1 2(∵∣Σ∣=σ1 2σ2 2−ρ2σ1 2σ2 2=(1−ρ2)σ1 2σ2 2) \begin{align*} V[X_2|X_1] &= (1-\rho^2)\sigma_2^{\,2} \\ &= \frac{|\Sigma|}{\sigma_1^{\,2}} \quad(\because |\Sigma| = \sigma_1^{\,2}\sigma_2^{\,2} - \rho^2\sigma_1^{\,2}\sigma_2^{\,2} = (1 - \rho^2)\sigma_1^{\,2}\sigma_2^{\,2}) \end{align*}$$

さらに，積率母関数は以下のようになる．

$$M(t)=E[et⊤X]=exp⁡(μ⊤t+12t⊤Σt)t∈R2 \begin{align} M(\mathbf{t}) = E[e^{\mathbf{t}^\top\mathbf{X}}] = \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t} \right) \quad \mathbin{t} \in \mathbb{R}^2 \end{align}$$

積率母関数を使った平均ベクトルと分散共分散行列の計算

$E[X]=M′(0)E[\mathbf{X}] = M^\prime(\mathbf{0})$ を用いて平均ベクトルを求める．

$$E[X]=M′(0)=∂∂t{exp⁡(μ⊤t+12t⊤Σt)}∣t=0(∵∂f∂x=∂u∂x∂f∂u)=(μ+12(Σ+Σ⊤)t)exp⁡(μ⊤t+12t⊤Σt)∣t=0=(μ+Σt)exp⁡(μ⊤t+12t⊤Σt)∣t=0(∵Σは対称行列のため，Σ=Σ⊤)=(μ+Σ0)exp⁡(μ⊤0+120⊤Σ0)=μ \begin{align*} E[\mathbf{X}] &= M^\prime(\mathbf{0}) \\ &= \left. \frac{\partial}{\partial\mathbf{t}}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \frac{\partial f}{\partial\mathbf{x}} = \frac{\partial{\mathbf{u}}}{\partial{\mathbf{x}}}\frac{\partial f}{\partial\mathbf{u}} \right) \\ &= \left. \left(\pmb{\mu} + \frac{1}{2}(\Sigma + \Sigma^\top)\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right|_{\mathbf{t}=\mathbf{0}} \\ &= \left. \left(\pmb{\mu} + \Sigma\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right|_{\mathbf{t}=\mathbf{0}} \quad(\because \Sigmaは対称行列のため，\Sigma = \Sigma^\top) \\ &= \left(\pmb{\mu} + \Sigma\mathbf{0}\right) \exp\left(\pmb{\mu}^\top\mathbf{0} + \frac{1}{2} \mathbf{0}^\top\Sigma\mathbf{0} \right) \\ &= \pmb{\mu} \end{align*}$$

$E[XX⊤]=M′′(0)E[\mathbf{X}\mathbf{X}^\top] = M^{\prime\prime}(\mathbf{0})$ を用いて分散共分散行列を求める．

$$E[XX⊤]=M′′(0)=∂2∂t∂t⊤{exp⁡(μ⊤t+12t⊤Σt)}∣t=0=∂∂t{(μ+Σt)⊤exp⁡(μ⊤t+12t⊤Σt)}∣t=0(∵∂f∂x⊤(x)=(∂f∂x1(x),…,∂f∂xn(x)))=∂∂t{exp⁡(μ⊤t+12t⊤Σt)(μ+Σt)⊤}∣t=0(∵exp⁡(μ⊤t+12t⊤Σt)はスカラー)={(μ+Σt)exp⁡(μ⊤t+12t⊤Σt)(μ+Σt)⊤+exp⁡(μ⊤t+12t⊤Σt)(0+Σ)}∣t=0=[{(μ+Σt)(μ+Σt)⊤+Σ}exp⁡(μ⊤t+12t⊤Σt)]∣t=0=μμ⊤+Σ∴V[X]=E[(X−E[X])(X−E[X])⊤]=E[XX⊤−XE[X]⊤−E[X]X⊤+E[X]E[X]⊤]=E[XX⊤]−E[X]E[X]⊤−E[X]E[X]⊤+E[X]E[X]⊤=E[XX⊤]−E[X]E[X]⊤=μμ⊤+Σ−μμ⊤=Σ \begin{align*} E[\mathbf{X}\mathbf{X}^\top] &= M^{\prime\prime}(\mathbf{0}) \\ &= \left. \frac{\partial^2}{\partial\mathbf{t}\partial\mathbf{t}^\top}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \\ &= \left. \frac{\partial}{\partial\mathbf{t}}\left\{(\pmb{\mu} + \Sigma\mathbf{t})^\top \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)\right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \frac{\partial f}{\partial\mathbf{x}^\top}(\mathbf{x}) = \left(\frac{\partial f}{\partial x_1}(\mathbf{x}), \dots, \frac{\partial f}{\partial x_n}(\mathbf{x}) \right) \right) \\ &= \left. \frac{\partial}{\partial\mathbf{t}}\left\{\exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)(\pmb{\mu} + \Sigma\mathbf{t})^\top \right\}\right|_{\mathbf{t}=\mathbf{0}} \quad\left(\because \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)はスカラー \right) \\ &= \left. \left\{\left(\pmb{\mu} + \Sigma\mathbf{t}\right) \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right)(\pmb{\mu} + \Sigma\mathbf{t})^\top + \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) (\mathbf{0} + \Sigma) \right\}\right|_{\mathbf{t}=\mathbf{0}} \\ &= \left. \left[\left\{(\pmb{\mu} + \Sigma\mathbf{t})(\pmb{\mu} + \Sigma\mathbf{t})^\top + \Sigma\right\} \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top\Sigma\mathbf{t} \right) \right]\right|_{\mathbf{t}=\mathbf{0}} \\ &= \pmb{\mu}\pmb{\mu}^\top + \Sigma \\ \\ \therefore V[\mathbf{X}] &= E[(\mathbf{X} - E[\mathbf{X}])(\mathbf{X} - E[\mathbf{X}])^\top] \\ &= E[\mathbf{X}\mathbf{X}^\top - \mathbf{X}E[\mathbf{X}]^\top - E[\mathbf{X}]X^\top + E[\mathbf{X}]E[\mathbf{X}]^\top] \\ &= E[\mathbf{X}\mathbf{X}^\top] - E[\mathbf{X}]E[\mathbf{X}]^\top - E[\mathbf{X}]E[\mathbf{X}]^\top + E[\mathbf{X}]E[\mathbf{X}]^\top \\ &= E[\mathbf{X}\mathbf{X}^\top] - E[\mathbf{X}]E[\mathbf{X}]^\top \\ &= \mu\mu^\top + \Sigma - \mu\mu^\top \\ &= \Sigma \end{align*}$$

(33)の証明

①積率母関数の定義より求める．

$$M(t)=E[et⊤X]=∫−∞∞∫−∞∞exp⁡(t⊤x)12π∣Σ∣1/2exp⁡[−12(x−μ)⊤Σ−1(x−μ)] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12(x−μ)⊤Σ−1(x−μ)] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12{(x⊤−μ⊤)Σ−1(x−μ)}] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12{(x⊤Σ−1−μ⊤Σ−1)(x−μ)}] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12(x⊤Σ−1x−μ⊤Σ−1x−x⊤Σ−1μ+μ⊤Σ−1μ)] dx1dx2 \begin{align*} M(\mathbf{t}) &= E[e^{\mathbf{t}^\top\mathbf{X}}] \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \exp(\mathbf{t}^\top\mathbf{x}) \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} (\mathbf{x}-\pmb{\mu})^\top \Sigma^{-1} (\mathbf{x}-\pmb{\mu}) \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left\{(\mathbf{x}^\top - \pmb{\mu}^\top) \Sigma^{-1} (\mathbf{x} - \pmb{\mu}) \right\} \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left\{(\mathbf{x}^\top \Sigma^{-1} - \pmb{\mu}^\top \Sigma^{-1}) (\mathbf{x} - \pmb{\mu}) \right\} \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - \pmb{\mu}^\top \Sigma^{-1} \mathbf{x} - \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2 \end{align*}$$

ここで，$μ⊤Σ−1x\pmb{\mu}^\top \Sigma^{-1} \mathbf{x}$ と $x⊤Σ−1μ\mathbf{x}^\top \Sigma^{-1} \pmb{\mu}$ はスカラーであるから以下が成り立つ．

$$μ⊤Σ−1x=(μ⊤Σ−1x)⊤=x⊤(Σ−1)⊤(μ⊤)⊤=x⊤Σ−1μ(∵Σは対称行列) \begin{align*} \pmb{\mu}^\top \Sigma^{-1} \mathbf{x} &= (\pmb{\mu}^\top \Sigma^{-1} \mathbf{x})^\top \\ &= \mathbf{x}^\top (\Sigma^{-1})^\top (\pmb{\mu}^\top)^\top \\ &= \mathbf{x}^\top \Sigma^{-1} \pmb{\mu} \quad(\because \Sigmaは対称行列) \end{align*}$$

元の計算式に戻って，

$$=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[t⊤x−12(x⊤Σ−1x−2μ⊤Σ−1x+μ⊤Σ−1μ)] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[−12(x⊤Σ−1x−2μ⊤Σ−1x−2t⊤ΣΣ−1x+μ⊤Σ−1μ)] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[−12{x⊤Σ−1x−2(μ⊤+t⊤Σ)Σ−1x+μ⊤Σ−1μ}] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[−12{x⊤Σ−1x−2(μ+Σt)⊤Σ−1x+μ⊤Σ−1μ}] dx1dx2((t⊤Σ)⊤=Σ⊤t=Σt) \begin{align*} &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[\mathbf{t}^\top\mathbf{x} -\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left(\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2\pmb{\mu}^\top \Sigma^{-1} \mathbf{x} - 2\mathbf{t}^\top\Sigma\Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right) \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left\{\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}^\top + \mathbf{t}^\top\Sigma) \Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right\} \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \left\{\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top \Sigma^{-1}\mathbf{x} + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu} \right\} \right] \, dx_1 dx_2 \quad((\mathbf{t}^\top\Sigma)^\top = \Sigma^\top\mathbf{t} = \Sigma\mathbf{t})\\ \end{align*}$$

となる．さらに $x⊤Σ−1x−2(μ+Σt)⊤Σ−1x\mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top \Sigma^{-1}\mathbf{x}$ には二次形式の平方完成 $x⊤A−1x+2p⊤A−1x=(x+p)⊤A−1(x+p)−p⊤A−1p(Aは対称行列)\mathbf{x}^\top A^{-1} \mathbf{x} + 2\mathbf{p}^\top A^{-1} \mathbf{x} = (\mathbf{x} + \mathbf{p})^\top A^{-1} (\mathbf{x} + \mathbf{p}) - \mathbf{p}^\top A^{-1} \mathbf{p} \quad (Aは対称行列)$ が成り立つので，

$$x⊤Σ−1x−2(μ+Σt)⊤Σ−1x={x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}−(μ+Σt)⊤Σ−1(μ+Σt)={x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}−(μ⊤Σ−1+t⊤ΣΣ−1)(μ+Σt)={x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}−(μ⊤Σ−1μ+t⊤μ+μ⊤t+t⊤Σt)={x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}−(μ⊤Σ−1μ+2μ⊤t+t⊤Σt) \begin{align*} \mathbf{x}^\top \Sigma^{-1} \mathbf{x} - 2(\pmb{\mu}+ \Sigma\mathbf{t})^\top \Sigma^{-1}\mathbf{x} &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu} + \Sigma\mathbf{t})^\top \Sigma^{-1} (\pmb{\mu} + \Sigma\mathbf{t}) \\ &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1} + \mathbf{t}^\top\Sigma\Sigma^{-1}) (\pmb{\mu} + \Sigma\mathbf{t}) \\ &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + \mathbf{t}^\top\pmb{\mu} + \pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) \\ &= \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + 2\pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) \\ \end{align*}$$

となる．これを元の計算式に代入して，

$$=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[−12[{x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}−(μ⊤Σ−1μ+2μ⊤t+t⊤Σt)++μ⊤Σ−1μ]] dx1dx2=∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[−12{x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}]exp⁡(μ⊤t+12t⊤Σt) dx1dx2=exp⁡(μ⊤t+12t⊤Σt)∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[−12{x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}] dx1dx2=exp⁡(μ⊤t+12t⊤Σt)(∵∫−∞∞∫−∞∞12π∣Σ∣1/2exp⁡[−12{x−(μ+Σt)}⊤Σ−1{x−(μ+Σt)}] dx1dx2=1) \begin{align*} &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} [ \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\} - (\pmb{\mu}^\top\Sigma^{-1}\pmb{\mu} + 2\pmb{\mu}^\top\mathbf{t} + \mathbf{t}^\top\Sigma\mathbf{t}) + + \pmb{\mu}^\top \Sigma^{-1} \pmb{\mu}] \right] \, dx_1 dx_2 \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \, dx_1 dx_2 \\ &= \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \, dx_1 dx_2 \\ &= \exp\left(\pmb{\mu}^\top\mathbf{t} + \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\right) \quad\left(\because \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{2\pi|\Sigma|^{1/2}} \exp\left[-\frac{1}{2} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}^\top \Sigma^{-1} \{\mathbf{x} - (\pmb{\mu} + \Sigma\mathbf{t})\}\right] \, dx_1 dx_2 = 1 \right) \end{align*}$$

②2変量標準正規分布の積率母関数より求める．

確率変数 $Z∼N2(0,I)\mathbf{Z} \sim N_2(\mathbf{0}, \mathbf{I})$ の積率母関数を求めると，

$$MZ(t)=E[exp⁡(t⊤Z)]=E[exp⁡(t1Z1+t2Z2)]=E[exp⁡(t1Z1)exp⁡(t2Z2)]=E[exp⁡(t1Z1)]E[exp⁡(t2Z2)](∵Z1,Z2は独立に標準正規分布に従う)=exp⁡(12t12)exp⁡(12t22)(∵標準正規分布の積率母関数)=exp⁡(12(t12+t22))=exp⁡(12t⊤t) \begin{align*} M_{\mathbf{Z}}(\mathbf{t}) &= E[\exp(\mathbf{t}^\top\mathbf{Z})] \\ &= E[\exp(t_1Z_1 + t_2Z_2)] \\ &= E[\exp(t_1Z_1)\exp(t_2Z_2)] \\ &= E[\exp(t_1Z_1)]E[\exp(t_2Z_2)] \quad(\because Z_1, Z_2は独立に標準正規分布に従う) \\ &= \exp\left( \frac{1}{2}t_1^2 \right) \exp\left( \frac{1}{2}t_2^2 \right ) \quad(\because 標準正規分布の積率母関数) \\ &= \exp\left(\frac{1}{2}(t_1^2+t_2^2) \right) \\ &= \exp\left(\frac{1}{2}\mathbf{t}^\top\mathbf{t}\right) \end{align*}$$

となり，$X=μ+Σ12Z∼N2(μ,Σ)\mathbf{X} = \pmb{\mu} + \Sigma^{\frac{1}{2}}\mathbf{Z} \sim N_2(\pmb{\mu, \Sigma})$ の積率母関数は，

$$MX(t)=E[exp⁡(t⊤X)]=E[exp⁡{t⊤(μ+Σ12Z)}]=exp⁡(t⊤μ)E[exp⁡(t⊤Σ12Z)]=exp⁡(t⊤μ)E[exp⁡(Σ12t)⊤Z]=exp⁡(μ⊤t)E[exp⁡{(Σ12t)⊤Z}]=exp⁡(μ⊤t)exp⁡{(Σ12t)⊤(Σ12t)}(∵E[exp⁡{(Σ12t)⊤Z}]=MZ(Σ12t))=exp⁡(μ⊤t)exp⁡(t⊤Σt)=exp⁡(μt⊤+t⊤Σt) \begin{align*} M_{\mathbf{X}}(\mathbf{t}) &= E[\exp(\mathbf{t}^\top\mathbf{X})] \\ &= E[\exp\{\mathbf{t}^\top(\pmb{\mu} + \Sigma^{\frac{1}{2}}\mathbf{Z})\}] \\ &= \exp(\mathbf{t}^\top\pmb{\mu}) E[\exp(\mathbf{t}^\top\Sigma^{\frac{1}{2}}\mathbf{Z})] \\ &= \exp(\mathbf{t}^\top\pmb{\mu}) E[\exp(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}] \\ &= \exp(\pmb{\mu}^\top\mathbf{t}) E[\exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}\}] \\ &= \exp(\pmb{\mu}^\top\mathbf{t}) \exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top(\Sigma^{\frac{1}{2}}\mathbf{t})\} \quad(\because E[\exp\{(\Sigma^{\frac{1}{2}}\mathbf{t})^\top\mathbf{Z}\}] = M_{\mathbf{Z}}(\mathbf{\Sigma^{\frac{1}{2}}t})) \\ &= \exp(\pmb{\mu}^\top\mathbf{t}) \exp(\mathbf{t}^\top\Sigma\mathbf{t}) \\ &= \exp(\pmb{\mu}\mathbf{t}^\top + \mathbf{t}^\top\Sigma\mathbf{t}) \end{align*}$$

$X∼N2(μ,Σ)X \sim N_2(\mathbf{\mu},\Sigma)$ である時，正則行列 $AA$ およベクトル $b\mathbf{b}$ を用いて，線形変換した　$Y=AX+b\mathbf{Y} = A\mathbf{X} + \mathbf{b}$ が従う分布は

$$Y=AX+b∼N2(Aμ+b,AΣA⊤) \begin{align} \mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N_2(A\pmb{\mu} + \mathbf{b}, A\Sigma A^\top) \end{align}$$

となる．

(34)の証明

① $Y=AX+b\mathbf{Y} = A\mathbf{X} + \mathbf{b}$ の変数変換を単純に計算する

確率ベクトル $X\mathbf{X}$ に対して，単純な変数変換 $X=ϕ(Y)\mathbf{X} = \phi(\mathbf{Y})$ 後の確率密度関数 $fY(y)f_{\mathbf{Y}}(\mathbf{y})$は

$$fY(y)=fX(ϕ(y))⋅∣J∣ f_{\mathbf{Y}}(\mathbf{y}) = f_{\mathbf{X}}(\phi(\mathbf{y})) \cdot |J|$$

と求める事ができる．ここで $J=∂x∂yJ = \frac{\partial\mathbf{x}}{\partial\mathbf{y}}$ はヤコビ行列を指す．

$Y=AX+b\mathbf{Y} = A\mathbf{X} + \mathbf{b}$ より，逆変換を考えると $X=A−1(Y−b)\mathbf{X} = A^{-1}(\mathbf{Y} - \mathbf{b})$ となり，成分表示だと

$$(x1x2)=X=A−1(Y−b)=(a11a12a21a22)(y1−b1y2−b2)=(a11(y1−b1)+a12(y2−b2)a21(y1−b1)+a22(y2−b2)) \begin{align*} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} &= \mathbf{X} \\ &= A^{-1}(\mathbf{Y} - \mathbf{b}) \\ &= \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} \begin{pmatrix} y_1 - b_1 \\ y_2 - b_2 \end{pmatrix} \\ &= \begin{pmatrix} a_{11}(y_1 - b_1) + a_{12}(y_2 - b_2) \\ a_{21}(y_1 - b_1) + a_{22}(y_2 - b_2) \end{pmatrix} \end{align*}$$

と表せるので，ヤコビ行列 $JJ$ は

$$J=(∂x1∂y1∂x1∂y2∂x2∂y1∂x2∂y2)=(a11a12a21a22)=A−1 \begin{align*} J &= \begin{pmatrix} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} \\ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \end{pmatrix} \\ &= \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} \\ &= A^{-1} \end{align*}$$

であるから，$∣J∣=∣A−1∣|J| = |A^{-1}|$ を式変形すると，

$$∣A−1∣=1∣A∣=1(∣A∣)2=1∣A∣⋅∣A⊤∣(∵∣P∣=∣P⊤∣)=∣Σ∣∣A∣⋅∣Σ∣⋅∣A⊤∣=∣Σ∣∣AΣA⊤∣(∵∣P∣∣Q∣=∣PQ∣) \begin{align*} |A^{-1}| = \frac{1}{|A|} \\ &= \sqrt{\frac{1}{(|A|)^2}} \\ &= \sqrt{\frac{1}{|A| \cdot |A^\top|}} \quad(\because |P| = |P^\top|) \\ &= \sqrt{\frac{|\Sigma|}{|A| \cdot |\Sigma| \cdot |A^\top|}} \\ &= \sqrt{\frac{|\Sigma|}{|A \Sigma A^\top|}} \quad(\because |P||Q| = |PQ|) \end{align*}$$

となるので，確率密度関数 $fY(y)f_{\mathbf{Y}}(\mathbf{y})$ は

$$fY(y)=12π∣Σ∣1/2exp⁡[−12{A−1(y−b)−μ}⊤Σ−1{A−1(y−b)−μ}]⋅∣Σ∣∣AΣA⊤∣=12π∣AΣA⊤∣1/2exp⁡[−12{A−1(y−b−Aμ)}⊤Σ−1{A−1(y−b−Aμ)}]=12π∣AΣA⊤∣1/2exp⁡[−12{(y−b−Aμ)⊤(A−1)⊤}Σ−1{A−1(y−b−Aμ)}]=12π∣AΣA⊤∣1/2exp⁡[−12(y−b−Aμ)⊤(A⊤)−1Σ−1A−1(y−b−Aμ)](∵(P⊤)−1=(P−1)⊤)=12π∣AΣA⊤∣1/2exp⁡[−12(y−b−Aμ)⊤(AΣA⊤)−1(y−b−Aμ)]=12π∣AΣA⊤∣1/2exp⁡[−12{y−(Aμ+b)}⊤(AΣA⊤)−1{y−(Aμ+b)}] \begin{align*} f_{\mathbf{Y}}(\mathbf{y}) &= \frac{1}{2\pi |\Sigma|^{1/2}} \exp\left[ -\frac{1}{2}\{A^{-1}(\mathbf{y} - \mathbf{b}) - \pmb{\mu}\}^\top \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b}) - \pmb{\mu}\} \right] \cdot \sqrt{\frac{|\Sigma|}{|A \Sigma A^\top|}} \\ &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\}^\top \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\} \right] \\ &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A^{-1})^\top\} \Sigma^{-1} \{A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})\} \right] \\ &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A^\top)^{-1} \Sigma^{-1} A^{-1}(\mathbf{y} - \mathbf{b} - A\pmb{\mu}) \right] \quad(\because (P^\top)^{-1} = (P^{-1})^\top) \\ &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}(\mathbf{y} - \mathbf{b} - A\pmb{\mu})^\top (A \Sigma A^\top)^{-1} (\mathbf{y} - \mathbf{b} - A\pmb{\mu}) \right] \\ &= \frac{1}{2\pi |A \Sigma A^\top|^{1/2}} \exp\left[ -\frac{1}{2}\{\mathbf{y} - (A\pmb{\mu} + \mathbf{b})\}^\top (A \Sigma A^\top)^{-1} \{\mathbf{y} - (A\pmb{\mu} + \mathbf{b})\} \right] \end{align*}$$

となり，これは $Y∼N(Aμ+b,AΣA⊤)\mathbf{Y} \sim N(A\pmb{\mu} + \mathbf{b}, A \Sigma A^\top)$ の確率密度関数である．

② 積率母関数を使って求める

まず，$Y=AX+b\mathbf{Y} = A\mathbf{X} + \mathbf{b}$ の積率母関数を考える．

$$E[et⊤Y]=E[et⊤(AX+b)]=et⊤bE[et⊤AX]=et⊤bE[e(A⊤t)⊤X] \begin{align*} E[e^{\mathbf{t}^\top\mathbf{Y}}] &= E[e^{\mathbf{t}^\top(A\mathbf{X}+\mathbf{b})}] \\ &= e^{\mathbf{t}^\top\mathbf{b}} E[e^{\mathbf{t}^\top A\mathbf{X}}] \\ &= e^{\mathbf{t}^\top\mathbf{b}} E[e^{(A^\top\mathbf{t})^\top\mathbf{X}}] \\ \end{align*}$$

ここで，2変量正規分布の積率母関数を導入すると，

$$et⊤bE[e(A⊤t)⊤X]=exp⁡(t⊤b)⋅exp⁡{μ⊤(A⊤t)+12(A⊤t)⊤Σ(A⊤t)}=exp⁡{μ⊤A⊤t+b⊤t+12(A⊤t)⊤Σ(A⊤t)}(∵t⊤bはスカラーなので，t⊤b=b⊤t)=exp⁡{(Aμ)⊤t+b⊤t+12t⊤AΣA⊤t}=exp⁡[(Aμ+b)⊤t+12{t⊤(AΣA⊤)t}] \begin{align*} e^{\mathbf{t}^\top\mathbf{b}} E[e^{(A^\top\mathbf{t})^\top\mathbf{X}}] &= \exp(\mathbf{t}^\top\mathbf{b}) \cdot \exp\left\{ \pmb{\mu}^\top(A^\top\mathbf{t}) + \frac{1}{2} (A^\top\mathbf{t})^\top \Sigma (A^\top\mathbf{t}) \right\} \\ &= \exp\left\{ \pmb{\mu}^\top A^\top\mathbf{t} + \mathbf{b}^\top\mathbf{t} + \frac{1}{2} (A^\top\mathbf{t})^\top \Sigma (A^\top\mathbf{t}) \right\} \quad(\because \mathbf{t}^\top\mathbf{b} はスカラーなので，\mathbf{t}^\top\mathbf{b} = \mathbf{b}^\top\mathbf{t}) \\ &= \exp\left\{ (A\pmb{\mu})^\top\mathbf{t} + \mathbf{b}^\top\mathbf{t} + \frac{1}{2} \mathbf{t}^\top A\Sigma A^\top\mathbf{t} \right\} \\ &= \exp\left[ (A\pmb{\mu} + \mathbf{b})^\top\mathbf{t} + \frac{1}{2} \left\{ \mathbf{t}^\top(A \Sigma A^\top)\mathbf{t} \right\} \right] \\ \end{align*}$$

積率母関数と確率密度関数は1対1に対応するので，式(46)の係数と比較すると，

$$Y∼N(Aμ+b,AΣA⊤) \mathbf{Y} \sim N(A\pmb{\mu} + \mathbf{b}, A \Sigma A^\top)$$

参考資料

• モーメント母関数（積率母関数）の意味と具体例
• 日本統計学会編，統計学実践ワークブック，第6章 連続型分布と標本分布
• 確率密度関数を用いた正規分布の期待値（平均）と分散の導出
• 指数分布の意味と具体例
• ガンマ分布の意味と期待値、分散
• 4-2. ガンマ分布
• 【徹底解説】ガンマ分布とベータ分布
• コーシー分布とその期待値などについて
• 逆三角関数(Arcsin,Arccos,Arctan)の意味と性質
• 対数正規分布の例と平均，分散
• 【徹底解説】対数正規分布とは
• 【徹底解説】多変量正規分布とは
• 2次元正規分布における条件付き確率分布・周辺分布の数式の導出を理解する
• 2変量正規分布の条件付き確率の期待値と分散（統計検定準1級対策3）
• 二次形式の平方完成(Completing the square)の計算の流れ
• 多次元正規分布（多変量正規分布）の線形変換と標準化、積率母関数の証明
• 【徹底解説】多変量正規分布の線形変換

脚注

1. 確率母関数は，$G(s)=E[sX]G(s) = E[s^X]$ と定義され，確率母関数と積率母関数は基本的に同じ母関数である．

2. 積率母関数は確率母関数と同じ母関数であるため，離散型確率変数に対しても利用できる．

3. 分散も期待値と同様にロピタルの定理を用いて導くことができるが，計算が煩雑になるため割愛する．

4. 平面上の点の位置を$(r,θ)(r, \theta)$ で点の位置を表すこと．

5. （長い時間平均すると）時間 $μ\mu$ あたり $11$ 回起こるランダムなイベントの発生間隔の分布と見ると，平均 $μ\mu$ の指数分に従い，確率密度関数は $f(x)=1μe−xμf(x) = \frac{1}{\mu}e^{-\frac{x}{\mu}}$ となる．

6. ガンマ分布のパラメータ $β\beta$ はある期間 $β\beta$ ごとに平均して $11$ 回起こるという意味のため，指数分布として捉えるために単位時間あたりに直す必要があるので $1β\frac{1}{\beta}$ と逆数にする必要がある．

7. $Γ(k)=(k−1)!\Gamma(k) = (k-1)!$ を用いる．

8. 形状母数 $β\beta$が異なるガンマ分布では，再生性が成り立たない．

9. この方法は結局累積分布関数 $FY(y)F_Y(y)$ を求め，最後に $yy$ で微分していることと同じである．

10. $μ2+ρσ2x1−μ1σ1\mu_2 + \rho\sigma_2\frac{x_1 - \mu_1}{\sigma_1}$ と式変形し，$X2X_2$ の期待値 $μ2\mu_2$ に $X2X_2$ の相関情報 $ρσ2\rho\sigma_2$ と $X1X_1$ を標準化 $x1−μ1σ1\frac{x_1 - \mu_1}{\sigma_1}$ を足すと覚えれば良い．

11. $∣Σ∣σ1 2\frac{|\Sigma|}{\sigma_1^{\,2}}$ の式より，分散共分散行列の行列式 $∣Σ∣|\Sigma|$ を $X1X_1$ の分散 $σ1 2\sigma_1^{\,2}$ で割ったものと覚えれば良い．