はじめに
この記事では、統計検定準1級取得に向けて学習したことをまとめていきます。
工学系の数学ではなく数理あるあるの、論述ゴリゴリな解答になっていると思いますのであらかじめご了承ください。
注意：さらに計算過程は数学文化の『省略の美』を無視してエレファントに書いています。
【リンク紹介】
・統計検定準1級のまとめ記事一覧
・これまで書いたシリーズ記事一覧
学習書籍について
この記事では「統計学実践ワークブック」を中心に、学んだことをまとめていきます。記事を読んで本格的に勉強してみたいなと思った方は、是非ご購入を検討なさってください。
参考書籍について
統計実践ワークブックは、大量の知識項目と問題が収められている反面、計算過程や知識背景が大きく省略されているため、知識体系をきちんと学ぶ参考書として東京大学から出版されている名著「統計学入門」を使っています。
※ワークブックとしては素晴らしい質だと思いますが、どうしてもその内容量とページ数の都合上、問題のない範囲で削除されているということです。人によっては1冊で問題ない方もおられると思いますが、私には無理でした。
1.基礎知識
変数、確率変数（離散型、連続型）、確率関数の定義は「同時確率関数と同時確率密度関数」の記事を参照ください。
1.1.期待値
Xが離散型の確率変数であるとき、Xの期待値（expectation）を以下のように定義する。
E[X] = \sum_{i = 1}^{\infty} x_i p(x_i)
なお、Xの関数\phi (X)の期待値は以下のように定義する。
E[\phi (X)] = \sum_{i = 1}^{\infty} \phi (x_i) p(x_i)
Xが連続型の確率変数であるとき、Xの期待値を以下のように定義する。
E[X] = \int_{-\infty}^{\infty} x f(x) dx
なお、Xの関数\phi (X)の期待値は以下のように定義する。
E[\phi (X)] = \int_{-\infty}^{\infty} \phi (x) f(x) dx
1.1.1.期待値の性質
【統計検定準1級】特性値の性質（期待値）を参照ください。
1.2.分散
Xが離散型の確率変数であるとき、Xの分散（variance）を以下のように定義する。
\begin{alignat*}{2}
V[X] &= \sum_{i = 1}^{\infty} (x_i - E[X])^2 p(x_i) \ \ \ (i = 0, 1, 2, \cdots) \\
&(= E[(X - E[X])^2])
\end{alignat*}
また、Xが連続型の確率変数であるとき、Xの分散を以下のように定義する。
\begin{alignat*}{2}
V[X] &= \int_{-\infty}^{\infty} (x - E[X])^2 f(x) dx \\
&(= E[(X - E[X])^2])
\end{alignat*}
1.2.1.分散を期待値で表した式
分散を求める場合、実際には以下の式を用いる場面が多い。
V[X] = E[X^2] - (E[X])^2
(証明)
E(X)が定数であることを注意して式を変形していく。
\begin{alignat*}{2}
V[X] &= E[(X - E[X])^2] \\
&= E[X^2 - 2E[X] \times X + (E[X])^2] \\
&= E[X^2] - E[2E[X] \times X] + E[(E[X])^2] \\
&= E[X^2] - 2E[X] \times E[X] + (E[X])^2 \\
&= E[X^2] - 2(E[X])^2 + (E[X])^2 \\
&= E[X^2] - (E[X])^2 \\
\end{alignat*}
1.2.2.分散の性質
【統計検定準1級】特性値の性質（分散）を参照ください。
3.確率母関数
Xを負でない整数値の確率変数とし、Xの確率関数をp(X)とする。このとき、Xの確率母関数(probability generating function)を次のように定め、G(s)と書くこととする。
|S| < 1を満たすすべての実数sに対して、
\begin{alignat*}{2}
G(s) &= E[s^X] \\
&= \sum_{x} s^x p(x)
\end{alignat*}
3.1.期待値と分散を確率母関数で表す
確率変数Xの期待値E(X)と分散V(X)を確率母関数を用いて以下のように表すことができる。
E[X] = G^\prime (1) \\
V[X] = (G^{\prime \prime} (1) + G^{\prime} (1)) - (G^{\prime} (1))^2
※V[X]について、(G^{\prime \prime} (1) + G^{\prime} (1))と表記することには本質的な意味はありませんが、この式を導出する際のV[X] = E[X^2] - (E[X])^2の形を意識しています。
4.モーメント母関数（積率母関数）
Xのモーメント母関数(moment generating function)を次のように定義し、m(\theta)と書くこととする。積率母関数ともいう。
[Ⅰ] 確率変数が離散型であるとき
\begin{alignat*}{2}
m(\theta) &= E[e^{\theta X}] \\
&= \sum_{i = 0}^{\infty} e^{\theta x_i} p(x_i)
\end{alignat*}
[Ⅱ] 確率変数が連続型であるとき
\begin{alignat*}{2}
m(\theta) &= E[e^{\theta X}] \\
&= \int_{- \infty}^{\infty} e^{\theta x} f(x) dx
\end{alignat*}
4.1.期待値と分散をモーメント母関数で表す
確率変数Xの期待値E(X)と分散V(X)をモーメント母関数m(\theta)を用いて以下のように表すことができる。
\begin{alignat*}{2}
E[X] &= m^\prime (0) \\
E[X^2] &= m^{\prime \prime} (0) \\
V[X] &= E[X^2] - (E[X])^2 \\
&= m^{\prime \prime} (0) - (m^{\prime} (0))^2
\end{alignat*}
例題
(「統計学実践ワークブック」より)
問2.2
Xを幾何分布に従う離散確率変数とする。すなわちXは非負整数値をとりその確率関数を
p(x) = p(1 - p)^x, x = 0, 1, 2, \cdots
とする。ただし0 < p < 1は幾何分布のパラメータである。Xの確率母関数G(s)を求めよ。また確率母関数を微分することによりXの期待値と分散を求めよ。
問2.3
Xを指数分布に従う連続確率変数とする。すなわちX \geqq 0の確率密度関数を
f(x) = \lambda e^{- \lambda x}
とする。ただし\lambda > 0はパラメータである。Xのモーメント母関数を求めよ。またモーメント母関数を微分することによりXの期待値と分散を求めよ。
解答
問2.2
まずXの確率母関数G(s)を求める。確率母関数の定義より、
\begin{alignat*}{2}
G(s) &= E[s^x] \\
&= \sum_{x = 0}^{\infty} s^x p(x) \\
&= \sum_{x = 0}^{\infty} s^x p(1 - p)^x \\
&= p \sum_{x = 0}^{\infty} s^x (1 - p)^x \\
&= p \sum_{x = 0}^{\infty} (s(1 - p))^x \\
&= p + p \sum_{x = 1}^{\infty} \left( s(1 - p) \right) \times (s(1 - p))^{x - 1} \\
\end{alignat*}
※最後の式変形はさすがに蛇足ですが、高校数学の形に寄せた結果です。
ここで、\sum_{x = 1}^{\infty} \left( s(1 - p) \right) \times (s(1 - p))^{x - 1}は、初項がs(1 - p)で、公比がs(1 - p)の無限等比級数である。
また、確率母関数の定義より、|s| < 1であり、題意より0 < p < 1つまり
\begin{alignat*}{2}
& 0 < p < 1 \\
\Leftrightarrow & -1 < -p < 0 \\
\Leftrightarrow & 0 < 1 - p < 1
\end{alignat*}
であるため、
であり、\sum_{x = 1}^{\infty} \left( s(1 - p) \right) \times (s(1 - p))^{x - 1}は収束する。したがって、
\begin{alignat*}{2}
G(s) &= p + p \times \cfrac{s(1 - p)}{1 - s(1 - p)} \\
&= \cfrac{p (1 - s(1 - p))}{1 - s(1 - p)} + \cfrac{ps(1 - p)}{1 - s(1 - p)} \\
&= \cfrac{p - ps(1 - p)}{1 - s(1 - p)} + \cfrac{ps(1 - p)}{1 - s(1 - p)} \\
&= \underline{\cfrac{p}{1 - s(1 - p)}} \\
\end{alignat*}
つぎに、この確率母関数を微分することにより、Xの期待値E[X]とV[X]を求める。
まず、期待値E[X]とV[X]は、確率母関数を用いて以下のように表せる。
E[X] = G^\prime (1) \\
V[X] = (G^{\prime \prime} (1) + G^{\prime} (1)) - (G^{\prime} (1))^2
よって、先にG^{\prime} (1), G^{\prime \prime} (1)を求める。
まずG^{\prime} (1)を求める。
\begin{alignat*}{2}
G^{\prime} (s) &= \cfrac{d}{ds} G(s) \\
&= \cfrac{d}{ds} \cfrac{p}{1 - (1 - p)s} \\
&= \cfrac{d}{ds} p(1 - (1 - p)s)^{-1} \\
&= p \times (-1) \times (-(1 - p)) \times (1 - (1 - p)s)^{-2} \\
&= \cfrac{p(1 - p)}{(1 - (1 - p)s)^2} \\
\end{alignat*}
であるので、
G^{\prime} (1) = \cfrac{p(1 - p)}{p^2} \\
次にG^{\prime \prime} (1)を求める。
\begin{alignat*}{2}
G^{\prime \prime} (s) &= \cfrac{d}{ds} G^{\prime} (s) \\
&= \cfrac{d}{ds} \cfrac{p(1 - p)}{(1 - (1 - p)s)^2} \\
&= \cfrac{p(1 - p) \times (-2) \times (-(1 - p))}{(1 - (1 - p)s)^3} \\
&= \cfrac{p(1 - p) \times 2(1 - p)}{(1 - (1 - p)s)^3} \\
\end{alignat*}
であるので、
\begin{alignat*}{2}
G^{\prime \prime} (1) &= \cfrac{p(1 - p) \times 2(1 - p)}{p^3} \\
&= \cfrac{2(1 - p)^2}{p^2} \\
\end{alignat*}
よって、求めるXの期待値E[X]とV[X]はそれぞれ
\begin{alignat*}{2}
E[X] &= G^\prime (1) \\
&= \underline{\cfrac{p(1 - p)}{p^2}} \\
\end{alignat*}
\begin{alignat*}{2}
V[X] &= (G^{\prime \prime} (1) + G^{\prime} (1)) - (G^{\prime} (1))^2 \\
&= \cfrac{2(1 - p)^2}{p^2} + \cfrac{1 - p}{p} - (\cfrac{1 - p}{p})^2 \\
&= \cfrac{2(1 - p)^2}{p^2} + \cfrac{(1 - p)p}{p^2} - \cfrac{(1 - p)^2}{p^2} \\
&= \cfrac{2(1 - p)^2 + (1 - p)p - (1 - p)^2}{p^2} \\
&= \cfrac{(1 - p)^2 + (1 - p)p}{p^2} \\
&= \underline{\cfrac{1 - p}{p^2}} \\
\end{alignat*}
問2.3
※設問には書かれていませんが、\theta < \lambdaであるとします。
まず、Xのモーメント母関数m(\theta)を求めます。モーメント母関数の定義より、
\begin{alignat*}{2}
\hspace{15mm}
m(\theta) &= \int_{-\infty}^{\infty} e^{\theta x} f(x) dx \\
&= \int_{0}^{\infty} e^{\theta x} \times \lambda e^{- \lambda x} dx \\
&= \int_{0}^{\infty} \lambda e^{\theta x - \lambda x} dx \\
&= \int_{0}^{\infty} \lambda e^{(\theta - \lambda) x} dx \\
&= \lambda \int_{0}^{\infty} e^{(\theta - \lambda) x} dx \\
& (↑広義積分です。) \\
&= \lambda \lim_{R \to \infty } \int_{0}^{r} e^{(\theta - \lambda)x} dx \\
&= \lambda \lim_{R \to \infty } \left[ \cfrac{1}{\theta - \lambda} e^{(\theta - \lambda)x} \right]_{0}^{r} \ \ (\because \theta - \lambda \neq 0) \\
&= \lambda \lim_{R \to \infty } \left( \cfrac{1}{\theta - \lambda} e^{(\theta - \lambda)R} - \cfrac{1}{\theta - \lambda} \right) \\
&= \lambda \lim_{R \to \infty } \cfrac{1}{\theta - \lambda} \left( e^{(\theta - \lambda)R} - 1 \right) \\
&= \lambda \cfrac{1}{\theta - \lambda} \lim_{R \to \infty } \left( e^{(\theta - \lambda)R} - 1 \right) \\
\end{alignat*}
ここで、\theta < \lambdaより、\theta - \lambda < 0であるから、
\lim_{R \to \infty } e^{(\theta - \lambda)R} = 0
である。したがって、
\begin{alignat*}{2}
m(\theta) &= \lambda \cfrac{1}{\theta - \lambda} (0 - 1) \\
&= - \cfrac{\lambda}{\theta - \lambda} \\
&= \underline{\cfrac{\lambda}{\lambda - \theta}} \\
\end{alignat*}
次に、モーメント母関数を用いてXの期待値E[X]と分散V[X]を求める。
まず、期待値E[X]とV[X]は、確率母関数を用いて以下のように表せる。
E[X] = m^\prime (0) \\
V[X] = (m^{\prime \prime} (0) + m^{\prime} (0)) - (m^{\prime} (0))^2
よって、先にm^{\prime} (0), m^{\prime \prime} (0)を求める。
まずm^{\prime} (0)を求める。
\begin{alignat*}{2}
m^{\prime} (\theta) &= \cfrac{d}{d \theta} m(\theta) \\
&= \cfrac{d}{d \theta} \cfrac{\lambda}{\lambda - \theta} \\
&= \cfrac{\lambda}{(\lambda - \theta)^2} \\
\end{alignat*}
であるので、
m^{\prime} (0) = \cfrac{1}{\lambda} \\
次にm^{\prime \prime} (0)を求める。
\begin{alignat*}{2}
b^{\prime \prime} (\theta) &= \cfrac{d}{ds} m^{\prime} (\theta) \\
&= \cfrac{d}{ds} \cfrac{\lambda}{(\lambda - \theta)^2} \\
&= \cfrac{\lambda \times (-2) \times (-1)}{(\lambda - \theta)^3} \\
&= \cfrac{2 \lambda}{(\lambda - \theta)^3} \\
\end{alignat*}
であるので、
\begin{alignat*}{2}
m^{\prime \prime} (0) &= \cfrac{2}{\lambda^2} \\
\end{alignat*}
よって、求めるXの期待値E[X]とV[X]はそれぞれ
\begin{alignat*}{2}
E[X] &= m^\prime (0) \\
&= \underline{\cfrac{1}{\lambda}} \\
\end{alignat*}
\begin{alignat*}{2}
V[X] &= E[X^2] - (E[X])^2 \\
&= m^{\prime \prime} (0) - (m^{\prime} (0))^2 \\
&= \cfrac{2}{\lambda^2} - \cfrac{1}{\lambda^2} \\
&= \underline{\cfrac{1}{\lambda^2}} \\
\end{alignat*}
参考資料
\bf{\textcolor{red}{記事が役に立った方は「いいね」を押していただけると、すごく喜びます \ 笑}}
ご協力のほどよろしくお願いします。
Discussion