確率収束と分布収束
確率収束 (Convergence in Probability)
確率変数の列 X_1, X_2, \ldots, X_n が確率収束するとは、任意の \epsilon > 0 に対して次の条件を満たすことを言います：
\lim_{n \to \infty} P(|X_n - X| \geq \epsilon) = 0
ここで、X は収束先の確率変数です。
また、以下のように表します。
\lim_{n \to \infty} X_n \to_p X
分布収束 (Convergence in Distribution)
確率変数の列 X_1, X_2, \ldots, X_n が分布収束するとは、任意の連続点 x に対して次の条件を満たすことを言います：
F_{X_n}(x) \to F_X(x) \text{ as } n \to \infty
ここで、F_{X_n}(x) は X_n の累積分布関数、F_X(x) は X の累積分布関数です。
また、以下のように表します。
\lim_{n \to \infty} X_n \to_d X
マルコフの不等式 (Markov's Inequality)
マルコフの不等式は、非負の確率変数 X,\; E(X) < \infty に対して次のように述べられます。任意の a > 0 に対して：
P(X \geq a) \leq \frac{E(X)}{a}
証明
非負の確率変数 X と任意の a > 0 に対して：
P(X \geq a) = P(X \mathbf{1}_{\{X \geq a\}} \geq a)
ここで、\mathbf{1}_{\{X \geq a\}} は X \geq a のとき1、それ以外のとき0になる指示関数です。したがって：
P(X \geq a) \leq \frac{E[X \mathbf{1}_{\{X \geq a\}}]}{a}
ここで、X \mathbf{1}_{\{X \geq a\}} \leq X であるため：
P(X \geq a) \leq \frac{E(X)}{a}
この不等式は、確率変数が与えられた値より大きくなる確率が、その確率変数の期待値によって制限されることを示しています
仮定
マルコフの不等式の仮定では、確率変数Xについて以下の仮定をおいていることに注意します。
- 非負の確率変数である
- 期待値を持つ: E(X) < \infty
チェビシェフの不等式 (Chebyshev's Inequality)
チェビシェフの不等式は、確率変数 X が平均 \mu と分散 \sigma^2 を持つとき、任意の k > 0 に対して以下が成立
P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}
証明
確率変数 X が平均 \mu と分散 \sigma^2 を持つとき：
P(|X - \mu| \geq k\sigma) = P((X - \mu)^2 \geq k^2\sigma^2)
マルコフの不等式を非負の確率変数 (X - \mu)^2 に適用すると：
P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{E[(X - \mu)^2]}{k^2\sigma^2} = \frac{\sigma^2}{k^2\sigma^2} = \frac{1}{k^2}
この不等式は、確率変数がその平均から一定の距離以上離れる確率が、分散によってどのように制限されるかを示しています
仮定
チェビシェフの不等式の仮定では、確率変数Xについて以下の仮定をおいていることに注意します。
- 期待値を持つ: E(X) < \infty
- 分散を持つ: V(X) < \infty
大数の弱法則 (Weak Law of Large Numbers)
独立同一に分布(\mu, \sigma)に従う確率変数 X_1, X_2, \ldots, X_n に対して、標本平均 \bar{X} = n^{-1}\sum_{i=1}^{n} X_i が母平均 \mu に確率収束する。すなわち、以下が成立する。
\bar{X} \to_p \mu \text{ as } n \to \infty
証明
チェビシェフの不等式を用いると、任意の \epsilon > 0 に対して：
P(|\bar{X} - \mu| \geq \epsilon) \leq \frac{\text{Var}(\bar{X})}{\epsilon^2} = \frac{\sigma^2/n}{\epsilon^2} = \frac{\sigma^2}{n\epsilon^2}
ここで、n \to \infty のとき右辺が0に収束するため：
\lim_{n \to \infty} P(|\bar{X} - \mu| \geq \epsilon) = 0
仮定
- 標本平均が期待値を持つ: E(\bar{X}) < \infty
- 標本平均が分散を持つ: V(\bar{X}) < \infty
中心極限定理 (Central Limit Theorem)
独立同一に分布(\mu, \sigma)に従う確率変数 X_1, X_2, \ldots, X_n の標本平均が標準正規分布に分布収束する
P\big(\frac{\sqrt{n}\sum_{i=1}^{n} (\bar{X} - \mu)}{\sigma} \big)
\to
\int_{-\infty}^{x} (2\pi)^{-\frac{1}{2}}\exp(-\frac{y^2}{2}) \; dy \text{ as } n \to \infty
証明
標準化
確率変数 X_i を標準化します。
Z_i = \frac{X_i - \mu}{\sigma}
このとき、 Z_i の平均は0、分散は1です。
標本平均の標準化
標本平均を考えます。
\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i
これを標準化します。
\frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} = \frac{\sqrt{n}\left( \frac{1}{n} \sum_{i=1}^{n} X_i - \mu \right)}{\sigma} = \frac{1}{\sqrt{n}} \sum_{i=1}^{n} \frac{X_i - \mu}{\sigma} = \frac{1}{\sqrt{n}} \sum_{i=1}^{n} Z_i
モーメント母関数の利用
モーメント母関数 M_Z(t) は、確率変数 Z のモーメント母関数であり、次のように定義されます。
M_Z(t) = \mathbb{E}[e^{tZ}]
i.i.d. の場合、標本平均のモーメント母関数は次のようになります。
M_{\frac{1}{\sqrt{n}} \sum_{i=1}^{n} Z_i}(t) = \left( M_Z\left( \frac{t}{\sqrt{n}} \right) \right)^n
Z のモーメント母関数
標準化された確率変数 Z_i は標準正規分布 N(0, 1) に従います。このモーメント母関数は次のようになります。
M_Z(t) = \exp\left( \frac{t^2}{2} \right)
モーメント母関数の極限
これを使用して、標本平均のモーメント母関数を計算します。
M_{\frac{1}{\sqrt{n}} \sum_{i=1}^{n} Z_i}(t) = \left( \exp\left( \frac{(t/\sqrt{n})^2}{2} \right) \right)^n = \exp\left( \frac{t^2}{2n} \cdot n \right) = \exp\left( \frac{t^2}{2} \right)
この結果は標準正規分布 N(0, 1) のモーメント母関数に一致します。
Discussion