確率収束・分布収束と各定理の確認

確率収束と分布収束

確率収束 (Convergence in Probability)

確率変数の列 $X1,X2,…,XnX_1, X_2, \ldots, X_n$ が確率収束するとは、任意の $ϵ>0\epsilon > 0$ に対して次の条件を満たすことを言います：

$$lim⁡n→∞P(∣Xn−X∣≥ϵ)=0 \lim_{n \to \infty} P(|X_n - X| \geq \epsilon) = 0$$

ここで、$XX$ は収束先の確率変数です。

また、以下のように表します。

$$lim⁡n→∞Xn→pX \lim_{n \to \infty} X_n \to_p X$$

分布収束 (Convergence in Distribution)

確率変数の列 $X1,X2,…,XnX_1, X_2, \ldots, X_n$ が分布収束するとは、任意の連続点 $xx$ に対して次の条件を満たすことを言います：

$$FXn(x)→FX(x) as n→∞ F_{X_n}(x) \to F_X(x) \text{ as } n \to \infty$$

ここで、$FXn(x)F_{X_n}(x)$ は $XnX_n$ の累積分布関数、$FX(x)F_X(x)$ は $XX$ の累積分布関数です。

また、以下のように表します。

$$lim⁡n→∞Xn→dX \lim_{n \to \infty} X_n \to_d X$$

マルコフの不等式 (Markov's Inequality)

マルコフの不等式は、非負の確率変数 $X, E(X)<∞X,\; E(X) < \infty$ に対して次のように述べられます。任意の $a>0a > 0$ に対して：

$$P(X≥a)≤E(X)a P(X \geq a) \leq \frac{E(X)}{a}$$

証明

非負の確率変数 $XX$ と任意の $a>0a > 0$ に対して：

$$P(X≥a)=P(X1{X≥a}≥a) P(X \geq a) = P(X \mathbf{1}_{\{X \geq a\}} \geq a)$$

ここで、$1{X≥a}\mathbf{1}_{\{X \geq a\}}$ は $X≥aX \geq a$ のとき1、それ以外のとき0になる指示関数です。したがって：

$$P(X≥a)≤E[X1{X≥a}]a P(X \geq a) \leq \frac{E[X \mathbf{1}_{\{X \geq a\}}]}{a}$$

ここで、$X1{X≥a}≤XX \mathbf{1}_{\{X \geq a\}} \leq X$ であるため：

$$P(X≥a)≤E(X)a P(X \geq a) \leq \frac{E(X)}{a}$$

この不等式は、確率変数が与えられた値より大きくなる確率が、その確率変数の期待値によって制限されることを示しています

仮定

マルコフの不等式の仮定では、確率変数$XX$について以下の仮定をおいていることに注意します。

• 非負の確率変数である
• 期待値を持つ: $E(X)<∞E(X) < \infty$

チェビシェフの不等式 (Chebyshev's Inequality)

チェビシェフの不等式は、確率変数 $XX$ が平均 $μ\mu$ と分散 $σ2\sigma^2$ を持つとき、任意の $k>0k > 0$ に対して以下が成立

$$P(∣X−μ∣≥kσ)≤1k2 P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}$$

証明

確率変数 $XX$ が平均 $μ\mu$ と分散 $σ2\sigma^2$ を持つとき：

$$P(∣X−μ∣≥kσ)=P((X−μ)2≥k2σ2) P(|X - \mu| \geq k\sigma) = P((X - \mu)^2 \geq k^2\sigma^2)$$

マルコフの不等式を非負の確率変数 $(X−μ)2(X - \mu)^2$ に適用すると：

$$P((X−μ)2≥k2σ2)≤E[(X−μ)2]k2σ2=σ2k2σ2=1k2 P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{E[(X - \mu)^2]}{k^2\sigma^2} = \frac{\sigma^2}{k^2\sigma^2} = \frac{1}{k^2}$$

この不等式は、確率変数がその平均から一定の距離以上離れる確率が、分散によってどのように制限されるかを示しています

仮定

チェビシェフの不等式の仮定では、確率変数$XX$について以下の仮定をおいていることに注意します。

• 期待値を持つ: $E(X)<∞E(X) < \infty$
• 分散を持つ: $V(X)<∞V(X) < \infty$

大数の弱法則 (Weak Law of Large Numbers)

独立同一に分布$(μ,σ)(\mu, \sigma)$に従う確率変数 $X1,X2,…,XnX_1, X_2, \ldots, X_n$ に対して、標本平均 $Xˉ=n−1∑i=1nXi\bar{X} = n^{-1}\sum_{i=1}^{n} X_i$ が母平均 $μ\mu$ に確率収束する。すなわち、以下が成立する。

$$Xˉ→pμ as n→∞ \bar{X} \to_p \mu \text{ as } n \to \infty$$

証明

チェビシェフの不等式を用いると、任意の $ϵ>0\epsilon > 0$ に対して：

$$P(∣Xˉ−μ∣≥ϵ)≤Var(Xˉ)ϵ2=σ2/nϵ2=σ2nϵ2 P(|\bar{X} - \mu| \geq \epsilon) \leq \frac{\text{Var}(\bar{X})}{\epsilon^2} = \frac{\sigma^2/n}{\epsilon^2} = \frac{\sigma^2}{n\epsilon^2}$$

ここで、$n→∞n \to \infty$ のとき右辺が0に収束するため：

$$lim⁡n→∞P(∣Xˉ−μ∣≥ϵ)=0 \lim_{n \to \infty} P(|\bar{X} - \mu| \geq \epsilon) = 0$$

仮定

• 標本平均が期待値を持つ: $E(Xˉ)<∞E(\bar{X}) < \infty$
• 標本平均が分散を持つ: $V(Xˉ)<∞V(\bar{X}) < \infty$

中心極限定理 (Central Limit Theorem)

独立同一に分布$(μ,σ)(\mu, \sigma)$に従う確率変数 $X1,X2,…,XnX_1, X_2, \ldots, X_n$ の標本平均が標準正規分布に分布収束する

$$P(n∑i=1n(Xˉ−μ)σ)→∫−∞x(2π)−12exp⁡(−y22) dy as n→∞ P\big(\frac{\sqrt{n}\sum_{i=1}^{n} (\bar{X} - \mu)}{\sigma} \big) \to \int_{-\infty}^{x} (2\pi)^{-\frac{1}{2}}\exp(-\frac{y^2}{2}) \; dy \text{ as } n \to \infty$$

証明

標準化

確率変数 $XiX_i$ を標準化します。

$$Zi=Xi−μσ Z_i = \frac{X_i - \mu}{\sigma}$$

このとき、 $ZiZ_i$ の平均は0、分散は1です。

標本平均の標準化

標本平均を考えます。

$$Xˉ=1n∑i=1nXi \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$$

これを標準化します。

$$n(Xˉ−μ)σ=n(1n∑i=1nXi−μ)σ=1n∑i=1nXi−μσ=1n∑i=1nZi \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} = \frac{\sqrt{n}\left( \frac{1}{n} \sum_{i=1}^{n} X_i - \mu \right)}{\sigma} = \frac{1}{\sqrt{n}} \sum_{i=1}^{n} \frac{X_i - \mu}{\sigma} = \frac{1}{\sqrt{n}} \sum_{i=1}^{n} Z_i$$

モーメント母関数の利用

モーメント母関数 $MZ(t)M_Z(t)$ は、確率変数 $ZZ$ のモーメント母関数であり、次のように定義されます。

$$MZ(t)=E[etZ] M_Z(t) = \mathbb{E}[e^{tZ}]$$

i.i.d. の場合、標本平均のモーメント母関数は次のようになります。

$$M1n∑i=1nZi(t)=(MZ(tn))n M_{\frac{1}{\sqrt{n}} \sum_{i=1}^{n} Z_i}(t) = \left( M_Z\left( \frac{t}{\sqrt{n}} \right) \right)^n$$

$ZZ$ のモーメント母関数

標準化された確率変数 $ZiZ_i$ は標準正規分布 $N(0, 1)$ に従います。このモーメント母関数は次のようになります。

$$M_Z(t) = \exp\left( \frac{t^2}{2} \right)$$

モーメント母関数の極限

これを使用して、標本平均のモーメント母関数を計算します。

$$M_{\frac{1}{\sqrt{n}} \sum_{i=1}^{n} Z_i}(t) = \left( \exp\left( \frac{(t/\sqrt{n})^2}{2} \right) \right)^n = \exp\left( \frac{t^2}{2n} \cdot n \right) = \exp\left( \frac{t^2}{2} \right)$$

この結果は標準正規分布 $N(0, 1)$ のモーメント母関数に一致します。