はじめに
この記事では、統計検定準1級取得に向けて学習したことをまとめていきます。
工学系の数学ではなく数理あるあるの、論述ゴリゴリな解答になっていると思いますのであらかじめご了承ください。
注意：さらに計算過程は数学文化の『省略の美』を無視してエレファントに書いています。
【リンク紹介】
・統計検定準1級のまとめ記事一覧
・これまで書いたシリーズ記事一覧
学習書籍について
この記事では「統計学実践ワークブック」を中心に、学んだことをまとめていきます。記事を読んで本格的に勉強してみたいなと思った方は、是非ご購入を検討なさってください。
参考書籍について
この記事では他の記事と異なり、「数理統計学：統計的推論の基礎」を参考にしています。普段は主に「統計学入門」で学んでいるのですが、今回は定理の証明が関わっているため、こちらの本を中心に学習しました。
※この本はゴリゴリの専門書です。大学数学の基礎が身についていないと読めない書籍なので、買う場合はご注意ください。文系さんは多分卒倒します…。
大数の弱法則
大数の弱法則(weak law of large numbers)を以下に記します。証明はチェビシェフの不等式より自明ですが、この記事では数理論理学を用いてあえてくどい証明を用意しました。
定理
X_1, X_2, \cdots, X_nを母集団からの無作為標本とし、かつ互いに独立で、それぞれ同一の（母平均\mu、母分散\sigmaの）確率分布に従う確率変数とする。
このとき、標本平均
\begin{alignat*}{2}
\overline{X_n} &= \cfrac{1}{ \ n \ } \sum_{i = 1}^{n} X_i
\end{alignat*}
について、以下のことが成り立つ。
すべての\varepsilon > 0に対して、
\lim_{n \to \infty} P ( |\overline{X_n} - \mu| \geqq \varepsilon) = 0
※つまり\overline{X_n}は\muに確率収束するということ。
証明
（証明）
※大数の弱法則の証明は、チェビシェフの不等式より自明であるというのが一般的ですが、今回は数理論理学の立場であえて細かく証明を書いていきます（というより、あんまり巨大な定理証明で細かく分解すると、とんでもなくエレファントになるので、自明くらいがちょうど良かったりします 笑）。
任意に\varepsilonを固定する。
\lim_{n \to \infty} P ( |\overline{X_n} - \mu| \geqq \varepsilon) = 0
が成り立つことを示す。ここで、チェビシェフの不等式は次のとおりである。
確率変数Xに対してE[X]とV[X]が存在するならば、\\
すべての実数 {\varepsilon}_0 > 0に対して、
P(|X - E[X]| \geqq {\varepsilon}_0) \leqq \cfrac{V[X]}{{{\varepsilon}_0}^2}
※任意にとっている\varepsilonと区別するために、ここでは{\varepsilon}_0とおいています（まぁ後で置き換えますが）
このチェビシェフの不等式のXに\overline{X_n}を適用すると以下のようになる。
確率変数\overline{X_n}に対してE[\overline{X_n}]とV[\overline{X_n}]が存在するならば、\\
すべての実数 {\varepsilon}_0 > 0に対して、
P(|\overline{X_n} - E[\overline{X_n}]| \geqq {\varepsilon}_0)
\leqq \cfrac{V[\overline{X_n}]}{{{\varepsilon}_0}^2}
ここで、今
E[\overline{X_n}] = \mu \\
V[\overline{X_n}] = \sigma^2
であることから、
すべての実数 {\varepsilon}_0 > 0に対して、
P(|\overline{X_n} - E[\overline{X_n}]| \geqq {\varepsilon}_0)
\leqq \cfrac{V[\overline{X_n}]}{{{\varepsilon}_0}^2}
つまり
すべての実数 {\varepsilon}_0 > 0に対して、
P(|\overline{X_n} - \mu]| \geqq {\varepsilon}_0)
\leqq \cfrac{\sigma^2}{{{\varepsilon}_0}^2}
を得る。また、{\varepsilon}_0として\varepsilonをおくと
P(|\overline{X_n} - \mu]| \geqq \varepsilon)
\leqq \cfrac{\sigma^2}{{\varepsilon}^2}
\hspace{5mm} \cdots ①
が成り立つ。ここで、
\cfrac{V[\overline{X_n}]}{{\varepsilon}^2}
\leqq \cfrac{\sigma^2}{n {\varepsilon}^2}
\hspace{5mm} \cdots ②
であることから、①と②より
P(|\overline{X_n} - \mu]| \geqq \varepsilon)
\leqq \cfrac{\sigma^2}{{n \varepsilon}^2}
が成り立つ。よって
\lim_{n \to \infty} P (|\overline{X_n} - \mu]| \geqq \varepsilon)
\leqq \lim_{n \to \infty} \cfrac{\sigma^2}{{n \varepsilon}^2}
= 0
つまり、
\lim_{n \to \infty} P (|\overline{X_n} - \mu]| \geqq \varepsilon) = 0
が成り立つ。
（証明終）
参考資料
\bf{\textcolor{red}{記事が役に立った方は「いいね」を押していただけると、すごく喜びます \ 笑}}
ご協力のほどよろしくお願いします☆
Discussion