Open1ヶ月前にコメント追加1

中心極限定理

チェビシェフ不等式

P(|z-E(z)|≥k\sigma) ≤ \frac{1}{k^2}

を示します。
任意の確率変数 $Z$ は、その期待値から $k\sigma$ 離れたデータは高々全体の $1/k^2$ しかない）。今回は
$P(|z-E(z)|≥\epsilon) ≤ \frac{V(z)}{\epsilon^2}$ を示します ( $\epsilon=k\sigma$ )。

V(z) = \int_{-\infin}^{\infin}{(z-\mu)^2 f(z)dz} = V(z) = \int_{|z-\mu| \leq \epsilon}{(z-\mu)^2 f(z)dz} + \int_{|z-\mu| \geq \epsilon}{(z-\mu)^2 f(z)dz} \\ \geq \int_{|z-\mu| \geq \epsilon}{(z-\mu)^2 f(z)dz}

$|z-\mu| \geq \epsilon$ より、

\int_{|z-\mu| \geq \epsilon}{(z-\mu)^2 f(z)dz} \geq \int_{|z-\mu| \geq \epsilon}{\epsilon^2 f(z)dz} \\ \int_{|z-\mu| \geq \epsilon}{\epsilon^2 f(z)dz} = \epsilon^2\int_{|z-\mu| \geq \epsilon}{f(z)dz} = \epsilon^2P(|z-\mu| \geq \epsilon) \\ \therefore \frac{V(z)}{\epsilon^2} \geq P(|z-E(z)| \geq \epsilon)

P(|\frac{1}{n}\sum_{i=1}^{n}X_i-\mu| \geq \epsilon) \rightarrow 0 (n\rightarrow \infin)

を示します（平均値 $\sum X_i/n$ は、 $X_i$ の期待値 $\mu$ に近づいていく）。

チェビシェフ不等式の $z$ を $\sum_{i=1}^{n}X_i/n$ とすれば、

P(|\frac{1}{n}\sum_{i=1}^{n}X_i-\mu| \geq \epsilon) \leq \frac{1}{\epsilon^2} \cdot \frac{\sigma^2}{n}

$n\rightarrow \infin$ とすると、

P(|\frac{1}{n}\sum_{i=1}^{n}X_i-\mu| \geq \epsilon) \rightarrow0

大数の弱法則において、 $\sqrt{n}/\sigma$ 倍したもの $S_n$ を考える。

S_n \equiv \sqrt{\frac{n}{\sigma^2}}(\frac{1}{n}\sum_{i=1}^{n}X_i-\mu)=\frac{1}{\sqrt{n}}\sum_{i=1}^{n}\frac{X_i-\mu}{\sigma}

$\frac{X_i-\mu}{\sigma}=z_i$ とすると、 $S_n$ のモーメント母関数は

M_{S_n}(t) =E[e^{t\sum_{i=1}^{n}z_1/\sqrt{n}} ] \\ M_{S_n}(t) =E[e^{tz_1/\sqrt{n}}] \cdot E[e^{tz_2/\sqrt{n}}] \cdots E[e^{tz_n/\sqrt{n}}] = M_{z}(\frac{t}{\sqrt{n}})^n

$M_{z}(\frac{t}{\sqrt{n}})^n$ を $t=0$ まわりでテイラー展開すると、

M_{z}(\frac{t}{\sqrt{n}})^n = M_z(0)+M_z^{(1)}(0)\frac{t}{\sqrt{n}} + M_z^{(2)}(0)\frac{t^2}{{2n}} + o(\frac{1}{n}) = 1 + \frac{t^2}{2n} + o(\frac{1}{n})

よって、

\begin{align*} M_{S_n}(t) &= \{ 1 + \frac{t^2}{2n} + o(\frac{1}{n}) \}^n \\ &= ( 1 + \frac{t^2}{2n})^n + n \times o(\frac{1}{n}) \}^n \rightarrow e^{t^2/2}. (n\rightarrow \infin) \end{align*}

$e^{t^2/2}$ は標準正規分布のモーメント母関数であるから、 $S_n$ はこれに近づいていく。

モーメント母関数の対数をとったものがキュムラント母関数です。キュムラント母関数 $K(t)$ はモーメント母関数 $M(t)$ を用いて以下のように定義されます。

K(t) = logM(t)

です。

すこしキュムラント母関数の性質を見てみます。

Y_i = \frac{X_i - \mu}{\sigma}, \quad \text{where } \mu = E(X_i), \sigma^2 = E((X_i - \mu)^2), \sigma > 0 \\

$Y_i$ のキュムラント母関数を $K(t)$ とおく。例のごとくマクローリン展開する。

K(t) = \log E[\exp(tY_i)] \\ K(t)_= k_1\frac{t^1}{1!} + k_2\frac{t^2}{2!} + k_3\frac{t^3}{3!} + k_4\frac{t^4}{4!} + \cdots

ここで、 $k_r$ はキュムラント(cumulant)と呼ばれ、 $k(t)$ の $r$ 階微分で定義されます。

k_r = K_r(t) \big|_{t=0} = \left. \frac{d^r K(t)}{dt^r} \right|_{t=0}

例えば、 $r=1, 2$ のときは、

K_1(t) = \frac{dK(t)}{dt} = \frac{1}{M(t)} \frac{dM(t)}{dt} \\ K_2(t) = \frac{d^2 K(t)}{dt^2} = \frac{1}{M(t)} \frac{d^2 M(t)}{dt^2} - \frac{1}{M(t)^2} \left( \frac{dM(t)}{dt} \right)^2

となります。これらは積率母関数の性質 $M(0)=1, \quad M'(t)|_{t=0}=E[X], \quad M''(t)|_{t=0}=E[X^2]$ を用いると、

\begin{align*} k_1 &= K_1(t) \big|_{t=0} = E[X] \\ k_2 &= K_2(t) \big|_{t=0} = E[X^2] - E[X]^2 = E[(X - E[X])^2] \\ k_3 &= K_3(t) \big|_{t=0} = E[(X - E[X])^3] \end{align*}

このように、平均、分散、歪度（のようなもの）が、各項に現れます。

$S_n$ のモーメント母関数の対数（キュムランと母関数）は、

M_{S_n}(t) =E[e^{tz_1/\sqrt{n}}] \cdot E[e^{tz_2/\sqrt{n}}] \cdots E[e^{tz_n/\sqrt{n}}] = M_{z}(\frac{t}{\sqrt{n}})^n \\ K_{S_n}(t) = n log M_z(\frac{t}{\sqrt{n}}) = nK_z(\frac{t}{\sqrt{n}})

ここで、キュムラント母関数のマクローリン展開に対して、 $S=t/\sqrt{n}$ とすると、

\begin{align*} K(s) &= k_1\frac{s^1}{1!} + k_2\frac{s^2}{2!} + k_3\frac{s^3}{3!} + k_4\frac{s^4}{4!} + \cdots \\ K_{S_n}(t) &= n \left\{ K(0) + k_1 \frac{t}{\sqrt{n}} + k_2 \frac{t^2}{2! \sqrt{n^2}} + k_3 \frac{t^3}{3! \sqrt{n^3}} + k_4 \frac{t^4}{4! \sqrt{n^4}} + \cdots \right\} \\ &= n \left\{ \frac{\sigma^2}{2!} \left( \frac{t}{\sqrt{n}} \right)^2 + \frac{k_3}{3!} \left( \frac{t}{\sqrt{n}} \right)^3 + \frac{k_4}{4!} \left( \frac{t}{\sqrt{n}} \right)^4 + \cdots \right\} \\ &= \frac{\sigma^2}{2!} t^2 + \frac{k_3}{3! \sqrt{n}} t^3 + \frac{k_4}{4! n} t^4 + \cdots \end{align*}

\lim_{n \to \infty} \log E(\exp(tS_n)) = \frac{t^2}{2} \\ \text{As } n \to \infty, Z_n \xrightarrow{d} N(0,1)

分布収束の早さは、元の分布の歪度、尖度が正規分布に近いかどうかに依存していることが理解できます。