【統計検定準1級】マルコフの不等式・チェビシェフの不等式

はじめに

この記事では、統計検定準1級取得に向けて学習したことをまとめていきます。
工学系の数学ではなく数理あるあるの、論述ゴリゴリな解答になっていると思いますのであらかじめご了承ください。
注意：さらに計算過程は数学文化の『省略の美』を無視してエレファントに書いています。

【リンク紹介】
・統計検定準1級のまとめ記事一覧
・これまで書いたシリーズ記事一覧

学習書籍について

この記事では「統計学実践ワークブック」を中心に、学んだことをまとめていきます。記事を読んで本格的に勉強してみたいなと思った方は、是非ご購入を検討なさってください。

参考書籍について

この記事では他の記事と異なり、「数理統計学：統計的推論の基礎」を参考にしています。普段は主に「統計学入門」で学んでいるのですが、今回は定理の証明が関わっているため、こちらの本を中心に学習しました。

※この本はゴリゴリの専門書です。大学数学の基礎が身についていないと読めない書籍なので、買う場合はご注意ください。文系さんは多分卒倒します…。

前提知識の定義

$x,yx, y \hspace{5mm}$ ：変数
$X,YX, Y \hspace{2.9mm}$ ：確率変数
$f(x)f(x) \hspace{3.6mm}$ ：$XX$の確率密度関数
$E[X]E[X] \hspace{2.1mm}$ ：$XX$の期待値
$V[X]V[X] \hspace{2mm}$ ：$XX$の分散

マルコフの不等式

定理

非負値確率変数$XX$について$E[X]E[X]$が存在するならば、
すべての実数$ε>0\varepsilon > 0$に対して、

$$P(X≧ε)≦E[X]ε P(X \geqq \varepsilon) \leqq \cfrac{E[X]}{\varepsilon}$$

が成り立つ。

証明

(証明)

【統計検定準1級】確率変数の収束の中で示した、次の不等式

$$P(∣Xn−Y∣≧ε)≦E[∣Xn−Y∣p]εp P(|X_n - Y| \geqq \varepsilon) \leqq \cfrac{E[|X_n - Y|^p]}{{\varepsilon}^p}$$

において、$Xn=XX_n = X$, $Y=0Y = 0$, $p=1p = 1$をそれぞれ適用すればよい。実際に

$$P(∣Xn−Y∣≧ε)≦E[∣Xn−Y∣p]εpP(∣X−0∣≧ε)≦E[∣X−0∣1]ε1P(∣X∣≧ε)≦E[∣X∣]ε \begin{alignat*}{2} P(|X_n - Y| \geqq \varepsilon) & \leqq \cfrac{E[|X_n - Y|^p]}{{\varepsilon}^p} \\ P(|X - 0| \geqq \varepsilon) & \leqq \cfrac{E[|X - 0|^1]}{{\varepsilon}^1} \\ P(|X| \geqq \varepsilon) & \leqq \cfrac{E[|X|]}{{\varepsilon}} \\ \end{alignat*}$$

となる。
（証明終）

チェビシェフの不等式

定理

確率変数$XX$について$E[X]E[X]$と$V[X]V[X]$が存在するならば、

すべての実数$ε>0\varepsilon > 0$に対して、

$$P(∣X−E[X]∣≧ε)≦E[∣X−E[X]∣2]ε2(=V[X]ε2) \begin{alignat*}{2} P(|X - E[X]| \geqq \varepsilon) &\leqq \cfrac{E[|X - E[X]|^2]}{{\varepsilon}^2} \\ & \left( = \cfrac{V[X]}{{\varepsilon}^2} \right) \end{alignat*}$$

証明①

(証明)

$$E[∣X−E[X]∣2]=∫R(x−E[x])2f(x)dx≧∫∣x−E[x]∣≧ε(x−E[x])2f(x)dx≧∫∣x−E[x]∣≧εε2f(x)dx=ε2∫∣x−E[x]∣≧εf(x)dx=ε2P(∣x−E[x]∣≧ε) \begin{alignat*}{2} E[|X - E[X]|^2] &= \int_{\mathbb{R}} (x - E[x])^2 f(x) dx \\ &\geqq \int_{|x - E[x]| \geqq \varepsilon} (x - E[x])^2 f(x) dx \\ &\geqq \int_{|x - E[x]| \geqq \varepsilon} {\varepsilon}^2 f(x) dx \\ &= {\varepsilon}^2 \int_{|x - E[x]| \geqq \varepsilon} f(x) dx \\ &= {\varepsilon}^2 P(|x - E[x]| \geqq \varepsilon) \\ \end{alignat*}$$

つまり、

$$E[∣X−E[X]∣2]≧ε2P(∣x−E[x]∣≧ε) E[|X - E[X]|^2] \geqq {\varepsilon}^2 P(|x - E[x]| \geqq \varepsilon)$$

である。したがって、

$$E[∣X−E[X]∣2]≧ε2P(∣x−E[x]∣≧ε)P(∣X−E[X]∣≧ε)≦E[∣X−E[X]∣2]ε2 \begin{alignat*}{2} E[|X - E[X]|^2] &\geqq {\varepsilon}^2 P(|x - E[x]| \geqq \varepsilon) \\ P(|X - E[X]| \geqq \varepsilon) &\leqq \cfrac{E[|X - E[X]|^2]}{{\varepsilon}^2}\end{alignat*}$$

となる。
(証明終)

証明②

等式

$$P(∣X−E[X]∣≧ε)=P(∣X−E[X]∣2≧ε2) P(|X - E[X]| \geqq \varepsilon) = P(|X - E[X]|^2 \geqq {\varepsilon}^2)$$

と、マルコフの不等式より

$$P(∣X−E[X]∣≧ε)≦E[∣X−E[X]∣2]ε2 P(|X - E[X]| \geqq \varepsilon) \leqq \cfrac{E[|X - E[X]|^2]}{{\varepsilon}^2} \\$$

が成り立つ。

（証明終）

等式$P(∣X−E[X]∣≧ε)=P(∣X−E[X]∣2≧ε2)P(|X - E[X]| \geqq \varepsilon) = P(|X - E[X]|^2 \geqq {\varepsilon}^2)$の証明

数学科界隈としては高校数学でもおなじみの以下の定理から、この等式は「自明である」という認識です。

$$α>0, β>0であるならば、α≧β⇔α2≧β2⋯(☆) \alpha > 0, \ \beta > 0であるならば、 \alpha \geqq \beta \Leftrightarrow {\alpha}^2 \geqq {\beta}^2 \hspace{5mm} \cdots (☆)$$

しかし、せっかくなのでその自明な等式の証明を覗いてみたいと思います。
用いる知識は大学数学で学ぶ集合の定義以外は、ほとんど高校数学です。

なお、$∣X−E[X]∣>0,ε>0|X - E[X]| > 0, \varepsilon > 0$であることは仮定しておきます。

（証明）
$P(∣X−E[X]∣≧ε),P(∣X−E[X]∣2≧ε2)P(|X - E[X]| \geqq \varepsilon), P(|X - E[X]|^2 \geqq {\varepsilon}^2)$は、定義より

$$P(∣X−E[X]∣≧ε)=∫∣x−E[x]∣≧εf(x)dx,P(∣X−E[X]∣2≧ε2)=∫∣x−E[x]∣2≧ε2f(x)dx P(|X - E[X]| \geqq \varepsilon) = \int_{|x - E[x]| \geqq \varepsilon} f(x) dx , \\ P(|X - E[X]|^2 \geqq {\varepsilon}^2) = \int_{|x - E[x]|^2 \geqq {\varepsilon}^2} f(x) dx$$

である。よって、以下の等式が成り立てばよい。

$${x∣ ∣x−E[x]∣≧ε}={x∣ ∣x−E[x]∣2≧ε2} \{ x | \ |x - E[x]| \geqq \varepsilon \} = \{ x | \ |x - E[x]|^2 \geqq {\varepsilon}^2 \}$$

※式の差分が積分範囲しかないんだから、その範囲が同じだと言えばいいですよねぇ

（Ⅰ）${x∣ ∣x−E[x]∣≧ε}⊂{x∣ ∣x−E[x]∣2≧ε2}\{ x | \ |x - E[x]| \geqq \varepsilon \} \subset \{ x | \ |x - E[x]|^2 \geqq {\varepsilon}^2 \}$を示す。

つまり、任意に$aa$をとり、
$a∈{x∣ ∣x−E[x]∣≧ε}a \in \{ x | \ |x - E[x]| \geqq \varepsilon \}$を仮定し、$a∈{x∣ ∣x−E[x]∣2≧ε2}a \in \{ x | \ |x - E[x]|^2 \geqq {\varepsilon}^2 \}$を示す。

すると$a∈{x∣ ∣x−E[x]∣≧ε}a \in \{ x | \ |x - E[x]| \geqq \varepsilon \}$の定義より、

$$∣a−E[a]∣≧ε⋯① |a - E[a]| \geqq \varepsilon \hspace{5mm} \cdots ①$$

が成り立つ。ここで、

$$∣a−E[a]∣>0, ε>0であるならば、∣a−E[a]∣≧ε⇔∣a−E[a]∣2≧ε2⋯(☆) |a - E[a]| > 0, \ \varepsilon > 0であるならば、 |a - E[a]| \geqq \varepsilon \Leftrightarrow {|a - E[a]|}^2 \geqq {\varepsilon}^2 \hspace{5mm} \cdots (☆)$$

が成り立っており、さらに仮定より

$$∣a−E[a]∣>0かつε>0 |a - E[a]| > 0 かつ \varepsilon > 0$$

であることから、

$$∣a−E[a]∣≧ε⇔∣a−E[a]∣2≧ε2 |a - E[a]| \geqq \varepsilon \Leftrightarrow {|a - E[a]|}^2 \geqq {\varepsilon}^2$$

を得る。ここで、①より

$$∣a−E[a]∣2≧ε2 {|a - E[a]|}^2 \geqq {\varepsilon}^2$$

を得る。したがって、

$$a∈{x∣ ∣x−E[x]∣2≧ε2} a \in \{ x | \ |x - E[x]|^2 \geqq {\varepsilon}^2 \}$$

が成り立つ。

$\newline$

（Ⅱ）${x∣ ∣x−E[x]∣2≧ε2}⊂{x∣ ∣x−E[x]∣≧ε}\{ x | \ |x - E[x]|^2 \geqq {\varepsilon}^2 \} \subset \{ x | \ |x - E[x]| \geqq \varepsilon \}$を示す。

つまり、任意に$aa$をとり、
$a∈{x∣ ∣x−E[x]∣2≧ε2}a \in \{ x | \ |x - E[x]|^2 \geqq {\varepsilon}^2 \}$を仮定し、$a∈{x∣ ∣x−E[x]∣≧ε}a \in \{ x | \ |x - E[x]| \geqq \varepsilon \}$を示す。

すると$a∈{x∣ ∣x−E[x]∣2≧ε2}a \in \{ x | \ |x - E[x]|^2 \geqq {\varepsilon}^2 \}$の定義より、

$$∣a−E[a]∣2≧ε2⋯② |a - E[a]|^2 \geqq {\varepsilon}^2 \hspace{5mm} \cdots ②$$

が成り立つ。ここで、

$$∣a−E[a]∣>0, ε>0であるならば、∣a−E[a]∣≧ε⇔∣a−E[a]∣2≧ε2⋯(☆) |a - E[a]| > 0, \ \varepsilon > 0であるならば、 |a - E[a]| \geqq \varepsilon \Leftrightarrow {|a - E[a]|}^2 \geqq {\varepsilon}^2 \hspace{5mm} \cdots (☆)$$

が成り立っており、さらに仮定より

$$∣a−E[a]∣>0かつε>0 |a - E[a]| > 0 かつ \varepsilon > 0$$

であることから、

$$∣a−E[a]∣≧ε⇔∣a−E[a]∣2≧ε2 |a - E[a]| \geqq \varepsilon \Leftrightarrow {|a - E[a]|}^2 \geqq {\varepsilon}^2$$

を得る。ここで、②より

$$∣a−E[a]∣≧ε {|a - E[a]|} \geqq {\varepsilon}$$

を得る。したがって、

$$a∈{x∣ ∣x−E[x]∣≧ε} a \in \{ x | \ |x - E[x]| \geqq {\varepsilon} \}$$

が成り立つ。
※（☆）の式はすべて同じものです。
（証明終）

【感想】
正直、自明だという記述を見たときは「なんとなく自明なのはわかりきってる気もするけど・・・なーんか気持ち悪いなぁ・・・」と思っていて、いざ証明してみたら「・・・あ、全部書かなくても証明の全体像が見えた。マジで自明なパターンだから書くのやめようかな・・・」と思ったのですが、世の中には自明な証明って意外とないもんなので、世の中に１個くらいは自明な証明が転がっていてもいいかな？なんて思って残しておきます。

参考資料

• 日本統計学会(編集).日本統計学会認定 統計検定準１級対応 統計学実践ワークブック.学術図書出版社.2020
• 東京大学教養学部統計学教室.統計学入門(基礎統計学Ⅰ).東京大学出版会.1991
• 小寺 平治.新統計入門.裳華房.1996
• 稲垣 宣生, 山根 芳知, 吉田 光雄.統計学入門.裳華房.1992
• 長瀬道弘・芦野隆一.微分積分概説.サイエンス社.2007
• 加藤文元.チャート式シリーズ 大学教養 微分積分.数研出版.2024
• 谷合廣紀.Pythonで理解する東海解析の基礎.技術評論社.2018
• 黒木学.数理統計学：統計的推論の基礎.共立出版.2020

$記事が役に立った方は「いいね」を押していただけると、すごく喜びます 笑\bf{\textcolor{red}{記事が役に立った方は「いいね」を押していただけると、すごく喜びます \ 笑}}$
ご協力のほどよろしくお願いします☆