【統計検定準1級】大数の弱法則

はじめに

この記事では、統計検定準1級取得に向けて学習したことをまとめていきます。
工学系の数学ではなく数理あるあるの、論述ゴリゴリな解答になっていると思いますのであらかじめご了承ください。
注意：さらに計算過程は数学文化の『省略の美』を無視してエレファントに書いています。

【リンク紹介】
・統計検定準1級のまとめ記事一覧
・これまで書いたシリーズ記事一覧

学習書籍について

この記事では「統計学実践ワークブック」を中心に、学んだことをまとめていきます。記事を読んで本格的に勉強してみたいなと思った方は、是非ご購入を検討なさってください。

参考書籍について

この記事では他の記事と異なり、「数理統計学：統計的推論の基礎」を参考にしています。普段は主に「統計学入門」で学んでいるのですが、今回は定理の証明が関わっているため、こちらの本を中心に学習しました。

※この本はゴリゴリの専門書です。大学数学の基礎が身についていないと読めない書籍なので、買う場合はご注意ください。文系さんは多分卒倒します…。

大数の弱法則

大数の弱法則(weak law of large numbers)を以下に記します。証明はチェビシェフの不等式より自明ですが、この記事では数理論理学を用いてあえてくどい証明を用意しました。

定理

$X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n$を母集団からの無作為標本とし、かつ互いに独立で、それぞれ同一の（母平均$μ\mu$、母分散$σ\sigma$の）確率分布に従う確率変数とする。

このとき、標本平均

$$Xn‾=1 n ∑i=1nXi \begin{alignat*}{2} \overline{X_n} &= \cfrac{1}{ \ n \ } \sum_{i = 1}^{n} X_i \end{alignat*}$$

について、以下のことが成り立つ。
すべての$ε>0\varepsilon > 0$に対して、

$$lim⁡n→∞P(∣Xn‾−μ∣≧ε)=0 \lim_{n \to \infty} P ( |\overline{X_n} - \mu| \geqq \varepsilon) = 0$$

※つまり$Xn‾\overline{X_n}$は$μ\mu$に確率収束するということ。

証明

（証明）
※大数の弱法則の証明は、チェビシェフの不等式より自明であるというのが一般的ですが、今回は数理論理学の立場であえて細かく証明を書いていきます（というより、あんまり巨大な定理証明で細かく分解すると、とんでもなくエレファントになるので、自明くらいがちょうど良かったりします 笑）。

任意に$ε\varepsilon$を固定する。

$$lim⁡n→∞P(∣Xn‾−μ∣≧ε)=0 \lim_{n \to \infty} P ( |\overline{X_n} - \mu| \geqq \varepsilon) = 0$$

が成り立つことを示す。ここで、チェビシェフの不等式は次のとおりである。

$$確率変数Xに対してE[X]とV[X]が存在するならば、すべての実数ε0>0に対して、P(∣X−E[X]∣≧ε0)≦V[X]ε02 確率変数Xに対してE[X]とV[X]が存在するならば、\\ すべての実数 {\varepsilon}_0 > 0に対して、 P(|X - E[X]| \geqq {\varepsilon}_0) \leqq \cfrac{V[X]}{{{\varepsilon}_0}^2}$$

※任意にとっている$ε\varepsilon$と区別するために、ここでは$ε0{\varepsilon}_0$とおいています（まぁ後で置き換えますが）

このチェビシェフの不等式の$XX$に$Xn‾\overline{X_n}$を適用すると以下のようになる。

$$確率変数Xn‾に対してE[Xn‾]とV[Xn‾]が存在するならば、すべての実数ε0>0に対して、P(∣Xn‾−E[Xn‾]∣≧ε0)≦V[Xn‾]ε02 確率変数\overline{X_n}に対してE[\overline{X_n}]とV[\overline{X_n}]が存在するならば、\\ すべての実数 {\varepsilon}_0 > 0に対して、 P(|\overline{X_n} - E[\overline{X_n}]| \geqq {\varepsilon}_0) \leqq \cfrac{V[\overline{X_n}]}{{{\varepsilon}_0}^2}$$

ここで、今

$$E[Xn‾]=μV[Xn‾]=σ2 E[\overline{X_n}] = \mu \\ V[\overline{X_n}] = \sigma^2$$

であることから、

$$すべての実数ε0>0に対して、P(∣Xn‾−E[Xn‾]∣≧ε0)≦V[Xn‾]ε02 すべての実数 {\varepsilon}_0 > 0に対して、 P(|\overline{X_n} - E[\overline{X_n}]| \geqq {\varepsilon}_0) \leqq \cfrac{V[\overline{X_n}]}{{{\varepsilon}_0}^2}$$

つまり

$$すべての実数ε0>0に対して、P(∣Xn‾−μ]∣≧ε0)≦σ2ε02 すべての実数 {\varepsilon}_0 > 0に対して、 P(|\overline{X_n} - \mu]| \geqq {\varepsilon}_0) \leqq \cfrac{\sigma^2}{{{\varepsilon}_0}^2}$$

を得る。また、$ε0{\varepsilon}_0$として$ε\varepsilon$をおくと

$$P(∣Xn‾−μ]∣≧ε)≦σ2ε2⋯① P(|\overline{X_n} - \mu]| \geqq \varepsilon) \leqq \cfrac{\sigma^2}{{\varepsilon}^2} \hspace{5mm} \cdots ①$$

が成り立つ。ここで、

$$V[Xn‾]ε2≦σ2nε2⋯② \cfrac{V[\overline{X_n}]}{{\varepsilon}^2} \leqq \cfrac{\sigma^2}{n {\varepsilon}^2} \hspace{5mm} \cdots ②$$

であることから、①と②より

$$P(∣Xn‾−μ]∣≧ε)≦σ2nε2 P(|\overline{X_n} - \mu]| \geqq \varepsilon) \leqq \cfrac{\sigma^2}{{n \varepsilon}^2}$$

が成り立つ。よって

$$lim⁡n→∞P(∣Xn‾−μ]∣≧ε)≦lim⁡n→∞σ2nε2=0 \lim_{n \to \infty} P (|\overline{X_n} - \mu]| \geqq \varepsilon) \leqq \lim_{n \to \infty} \cfrac{\sigma^2}{{n \varepsilon}^2} = 0$$

つまり、

$$lim⁡n→∞P(∣Xn‾−μ]∣≧ε)=0 \lim_{n \to \infty} P (|\overline{X_n} - \mu]| \geqq \varepsilon) = 0$$

が成り立つ。

（証明終）

参考資料

• 日本統計学会(編集).日本統計学会認定 統計検定準１級対応 統計学実践ワークブック.学術図書出版社.2020
• 東京大学教養学部統計学教室.統計学入門(基礎統計学Ⅰ).東京大学出版会.1991
• 小寺 平治.新統計入門.裳華房.1996
• 稲垣 宣生, 山根 芳知, 吉田 光雄.統計学入門.裳華房.1992
• 長瀬道弘・芦野隆一.微分積分概説.サイエンス社.2007
• 加藤文元.チャート式シリーズ 大学教養 微分積分.数研出版.2024
• 谷合廣紀.Pythonで理解する東海解析の基礎.技術評論社.2018
• 黒木学.数理統計学：統計的推論の基礎.共立出版.2020

$記事が役に立った方は「いいね」を押していただけると、すごく喜びます 笑\bf{\textcolor{red}{記事が役に立った方は「いいね」を押していただけると、すごく喜びます \ 笑}}$
ご協力のほどよろしくお願いします☆