はじめに
この記事では、統計検定準1級取得に向けて学習したことをまとめていきます。
工学系の数学ではなく数理あるあるの、論述ゴリゴリな解答になっていると思いますのであらかじめご了承ください。
注意：さらに計算過程は数学文化の『省略の美』を無視してエレファントに書いています。
【リンク紹介】
・統計検定準1級のまとめ記事一覧
・これまで書いたシリーズ記事一覧
学習書籍について
この記事では「統計学実践ワークブック」を中心に、学んだことをまとめていきます。記事を読んで本格的に勉強してみたいなと思った方は、是非ご購入を検討なさってください。
参考書籍について
統計実践ワークブックは、大量の知識項目と問題が収められている反面、計算過程や知識背景が大きく省略されているため、知識体系をきちんと学ぶ参考書として東京大学から出版されている名著「統計学入門」を使っています。
※ワークブックとしては素晴らしい質だと思いますが、どうしてもその内容量とページ数の都合上、問題のない範囲で削除されているということです。人によっては1冊で問題ない方もおられると思いますが、私には無理でした。
多変量正規分布
X_iを平均\mu_i、分散{\sigma_i}^{2}の正規分布N(\mu_i, {\sigma_i}^2)に従う確率変数であるとする（i = 1, 2, \cdots, n）。
また、n次元ベクトル\bm{\mu}とn \times nの正値対称行列\Sigmaをそれぞれ以下のように定める。
\begin{alignat*}{2}
\bm{\mu}
&= \left(
\begin{array}{c}
\mu_1 \\
\mu_2 \\
\vdots \\
\mu_n
\end{array}
\right) \\
\Sigma
&= (\sigma_{ij})_{1 \leqq i, j \leqq n} \\
&= \left(
\begin{array}{c}
\sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n} \\
\sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
\sigma_{n1} & \sigma_{n2} & \cdots & \sigma_{nn}
\end{array}
\right) \\
& ※対称行列より\sigma_{ij} = \sigma_{ji}であることに注意
\end{alignat*}
今、n次元確率変数ベクトル\mathbf{X}を
\begin{alignat*}{2}
\mathbf{X}
&= \left(
\begin{array}{c}
X_1 \\
X_2 \\
\vdots \\
X_n
\end{array}
\right) \\
\end{alignat*}
とすると、この\mathbf{X}に対し同時確率密度関数f_nが
f_n(\mathbf{x}) = \cfrac{1}{(\sqrt{2 \pi})^n {\sqrt{det \Sigma}}}
\exp
\left(
- \cfrac{1}{2}
(x_1 - \mu_1, x_2 - \mu_2, \cdots, x_n - \mu_n)
{\Sigma}^{-1}
\left(
\begin{array}{c}
x_1 - \mu_1 \\
x_2 - \mu_2 \\
\vdots \\
x_n - \mu_n
\end{array}
\right)
\right)
であるとき、この同時確率密度関数f_nを平均ベクトル\mathbf{\mu}、共分散行列\Sigmaの多変量正規分布(multivariate normal distribution)といい、N(\mathbf{\mu}, \Sigma)と表す。
2変量正規分布
多変量正規分布において、n = 2のときについて記述する。つまり、
X_1を平均\mu_1、分散{\sigma_1}^{2}の正規分布N(\mu_1, {\sigma_1}^2)に従う確率変数、X_2を平均\mu_2、分散{\sigma_2}^{2}の正規分布N(\mu_2, {\sigma_2}^2)に従う確率変数であるとする。
また、2次元ベクトル\bm{\mu}と2 \times 2の正値対称行列\Sigmaをそれぞれ以下のように定める。
\begin{alignat*}{2}
\bm{\mu}
&= \left(
\begin{array}{c}
\mu_1 \\
\mu_2 \\
\end{array}
\right) \\
\Sigma
&= \left(
\begin{array}{c}
\sigma_{11} & \sigma_{12} \\
\sigma_{21} & \sigma_{22} \\
\end{array}
\right) \\
\end{alignat*}
ここで、X_1, X_2の相関係数を\rhoとすると、定義より以下の等式が成り立つ。
\begin{alignat*}{2}
\sigma_{12}
&= \rho \sigma_1 \sigma_2 \\
&(= \sigma_{21})
\end{alignat*}
また、\Sigmaの行列式をdet \Sigmaとし、\Sigmaの逆行列を{\Sigma}^{-1}とすると、それぞれ次のように表せる。
\begin{alignat*}{2}
det \Sigma
&= \sigma_{11} \sigma_{22} - \sigma_{12} \sigma_{21} \\
&= {\sigma_1}^2 {\sigma_2}^2 - \rho \sigma_1 \sigma_2 \times \rho \sigma_1 \sigma_2 \\
&= {\sigma_1}^2 {\sigma_2}^2 - \rho^2 {\sigma_1}^2 {\sigma_2}^2 \\
&= {\sigma_1}^2 {\sigma_2}^2 (1 - \rho^2)
\end{alignat*}
\begin{alignat*}{2}
{\Sigma}^{-1}
&= \cfrac{1}{\sigma_{11} \sigma_{22} - \sigma_{12} \sigma_{21}}
\left(
\begin{array}{c}
\sigma_{22} & - \sigma_{12} \\
- \sigma_{21} & \sigma_{11} \\
\end{array}
\right) \\
&= \cfrac{1}{{\sigma_1}^2 {\sigma_2}^2 (1 - \rho^2)}
\left(
\begin{array}{c}
{\sigma_{2}}^2 & - \rho \sigma_1 \sigma_2 \\
- \rho \sigma_1 \sigma_2 & {\sigma_{1}}^2 \\
\end{array}
\right) \\
\end{alignat*}
今、2次元確率変数ベクトル\mathbf{X}を
\begin{alignat*}{2}
\mathbf{X}
&= \left(
\begin{array}{c}
X_1 \\
X_2 \\
\end{array}
\right) \\
\end{alignat*}
とすると、この\mathbf{X}に対し同時確率密度関数f_2が
f_2(\mathbf{x}) = \cfrac{1}{(\sqrt{2 \pi})^2 {\sqrt{det \Sigma}}}
\exp
\left(
- \cfrac{1}{2}
(x_1 - \mu_1, x_2 - \mu_2)
{\Sigma}^{-1}
\left(
\begin{array}{c}
x_1 - \mu_1 \\
x_2 - \mu_2 \\
\end{array}
\right)
\right)
\hspace{5mm}
\cdots (※)
であるとき、この同時確率密度関数f_nを平均ベクトル\mathbf{\mu}、共分散行列\Sigmaの2変量正規分布といい、N(\mathbf{\mu}, \Sigma)と表す。
(※)の指数部分は次のように変形することができる。
\begin{alignat*}{2}
& - \cfrac{1}{2}
(x_1 - \mu_1, x_2 - \mu_2)
{\Sigma}^{-1}
\left(
\begin{array}{c}
x_1 - \mu_1 \\
x_2 - \mu_2 \\
\end{array}
\right) \\
=& - \cfrac{1}{2}
(x_1 - \mu_1, x_2 - \mu_2)
\cfrac{1}{{\sigma_1}^2 {\sigma_2}^2 (1 - \rho^2)}
\left(
\begin{array}{c}
{\sigma_{2}}^2 & - \rho \sigma_1 \sigma_2 \\
- \rho \sigma_1 \sigma_2 & {\sigma_{1}}^2 \\
\end{array}
\right)
\left(
\begin{array}{c}
x_1 - \mu_1 \\
x_2 - \mu_2 \\
\end{array}
\right) \\
=& - \cfrac{1}{2 {\sigma_1}^2 {\sigma_2}^2 (1 - \rho^2)}
\left(
{\sigma_2}^2 (x_1 - \mu_1) - \rho \sigma_1 \sigma_2 (x_2 - \mu_2),
- \rho \sigma_1 \sigma_2 (x_1 - \mu_1) + {\sigma_1}^2 (x_2 - \mu_2)
\right)
\left(
\begin{array}{c}
x_1 - \mu_1 \\
x_2 - \mu_2 \\
\end{array}
\right) \\
=& - \cfrac{1}{2 {\sigma_1}^2 {\sigma_2}^2 (1 - \rho^2)}
\left(
{\sigma_2}^2 (x_1 - \mu_1)^2
- \rho \sigma_1 \sigma_2 (x_1 - \mu_1)(x_2 - \mu_2)
- \rho \sigma_1 \sigma_2 (x_1 - \mu_1)(x_2 - \mu_2)
+ {\sigma_1}^2 (x_2 - \mu_2)^2
\right) \\
=& - \cfrac{1}{2 {\sigma_1}^2 {\sigma_2}^2 (1 - \rho^2)}
\left(
{\sigma_2}^2 (x_1 - \mu_1)^2
- 2 \rho \sigma_1 \sigma_2 (x_1 - \mu_1)(x_2 - \mu_2)
+ {\sigma_1}^2 (x_2 - \mu_2)^2
\right) \\
=& - \cfrac{1}{2 (1 - \rho^2)}
\left(
\cfrac{{\sigma_2}^2 (x_1 - \mu_1)^2}
{{\sigma_1}^2 {\sigma_2}^2}
- \cfrac{2 \rho \sigma_1 \sigma_2 (x_1 - \mu_1)(x_2 - \mu_2)}
{{\sigma_1}^2 {\sigma_2}^2}
+ \cfrac{{\sigma_1}^2 (x_2 - \mu_2)^2}
{{\sigma_1}^2 {\sigma_2}^2}
\right) \\
=& - \cfrac{1}{2 (1 - \rho^2)}
\left(
\left( \cfrac{x_1 - \mu_1}{\sigma_1} \right)^2
- 2 \rho
\left( \cfrac{x_1 - \mu_1}{\sigma_1} \right)
\left( \cfrac{x_2 - \mu_2}{\sigma_2} \right)
+ \left( \cfrac{x_2 - \mu_2}{\sigma_2} \right)^2
\right) \\
\end{alignat*}
よって、2変量正規分布は次のように具体的な式で表すことができる。
f_2(\mathbf{x}) =
\cfrac{1}{2 \pi {\sqrt{{\sigma_1}^2 {\sigma_2}^2 (1 - \rho^2)}}}
\exp
\left(
- \cfrac{1}{2 (1 - \rho^2)}
\left(
\left( \cfrac{x_1 - \mu_1}{\sigma_1} \right)^2
- 2 \rho
\left( \cfrac{x_1 - \mu_1}{\sigma_1} \right)
\left( \cfrac{x_2 - \mu_2}{\sigma_2} \right)
+ \left( \cfrac{x_2 - \mu_2}{\sigma_2} \right)^2
\right)
\right)
参考資料
\bf{\textcolor{red}{記事が役に立った方は「いいね」を押していただけると、すごく喜びます \ 笑}}
ご協力のほどよろしくお願いします。
Discussion