Open1

中心極限定理

redtearedtea

チェビシェフ不等式

P(|z-E(z)|≥k\sigma) ≤ \frac{1}{k^2}

を示します。
任意の確率変数Zは、その期待値からk\sigma離れたデータは高々全体の1/k^2しかない)。今回は
P(|z-E(z)|≥\epsilon) ≤ \frac{V(z)}{\epsilon^2}を示します (\epsilon=k\sigma)。

V(z) = \int_{-\infin}^{\infin}{(z-\mu)^2 f(z)dz} = V(z) = \int_{|z-\mu| \leq \epsilon}{(z-\mu)^2 f(z)dz} + \int_{|z-\mu| \geq \epsilon}{(z-\mu)^2 f(z)dz} \\ \geq \int_{|z-\mu| \geq \epsilon}{(z-\mu)^2 f(z)dz}

|z-\mu| \geq \epsilonより、

\int_{|z-\mu| \geq \epsilon}{(z-\mu)^2 f(z)dz} \geq \int_{|z-\mu| \geq \epsilon}{\epsilon^2 f(z)dz} \\ \int_{|z-\mu| \geq \epsilon}{\epsilon^2 f(z)dz} = \epsilon^2\int_{|z-\mu| \geq \epsilon}{f(z)dz} = \epsilon^2P(|z-\mu| \geq \epsilon) \\ \therefore \frac{V(z)}{\epsilon^2} \geq P(|z-E(z)| \geq \epsilon)

大数の弱法則

P(|\frac{1}{n}\sum_{i=1}^{n}X_i-\mu| \geq \epsilon) \rightarrow 0 (n\rightarrow \infin)

を示します(平均値\sum X_i/nは、X_iの期待値\muに近づいていく)。

チェビシェフ不等式のz\sum_{i=1}^{n}X_i/nとすれば、

P(|\frac{1}{n}\sum_{i=1}^{n}X_i-\mu| \geq \epsilon) \leq \frac{1}{\epsilon^2} \cdot \frac{\sigma^2}{n}

n\rightarrow \infinとすると、

P(|\frac{1}{n}\sum_{i=1}^{n}X_i-\mu| \geq \epsilon) \rightarrow0

中心極限定理(モーメント母関数の一致性を利用)

大数の弱法則において、\sqrt{n}/\sigma倍したものS_nを考える。

S_n \equiv \sqrt{\frac{n}{\sigma^2}}(\frac{1}{n}\sum_{i=1}^{n}X_i-\mu)=\frac{1}{\sqrt{n}}\sum_{i=1}^{n}\frac{X_i-\mu}{\sigma}

\frac{X_i-\mu}{\sigma}=z_iとすると、S_nのモーメント母関数は

M_{S_n}(t) =E[e^{t\sum_{i=1}^{n}z_1/\sqrt{n}} ] \\ M_{S_n}(t) =E[e^{tz_1/\sqrt{n}}] \cdot E[e^{tz_2/\sqrt{n}}] \cdots E[e^{tz_n/\sqrt{n}}] = M_{z}(\frac{t}{\sqrt{n}})^n

M_{z}(\frac{t}{\sqrt{n}})^nt=0まわりでテイラー展開すると、

M_{z}(\frac{t}{\sqrt{n}})^n = M_z(0)+M_z^{(1)}(0)\frac{t}{\sqrt{n}} + M_z^{(2)}(0)\frac{t^2}{{2n}} + o(\frac{1}{n}) = 1 + \frac{t^2}{2n} + o(\frac{1}{n})

よって、

\begin{align*} M_{S_n}(t) &= \{ 1 + \frac{t^2}{2n} + o(\frac{1}{n}) \}^n \\ &= ( 1 + \frac{t^2}{2n})^n + n \times o(\frac{1}{n}) \}^n \rightarrow e^{t^2/2}. (n\rightarrow \infin) \end{align*}

e^{t^2/2}は標準正規分布のモーメント母関数であるから、S_nはこれに近づいていく。

キュムラント母関数を用いる場合

キュムラント母関数を用いる利点

  • 極限(1+t^2/(2n)+O(1/ n))^n \rightarrow \exp(t^2/2)の極限計算をせずに済む
  • 収束の早さを理解しやすい(O(\sqrt{n})オーダーは歪度、O(n)オーダーは尖度が効いてくる)

キュムラント母関数とは

モーメント母関数の対数をとったものがキュムラント母関数です。キュムラント母関数K(t)はモーメント母関数M(t)を用いて以下のように定義されます。

K(t) = logM(t)

です。

すこしキュムラント母関数の性質を見てみます。

Y_i = \frac{X_i - \mu}{\sigma}, \quad \text{where } \mu = E(X_i), \sigma^2 = E((X_i - \mu)^2), \sigma > 0 \\

Y_iのキュムラント母関数をK(t)とおく。例のごとくマクローリン展開する。

K(t) = \log E[\exp(tY_i)] \\ K(t)_= k_1\frac{t^1}{1!} + k_2\frac{t^2}{2!} + k_3\frac{t^3}{3!} + k_4\frac{t^4}{4!} + \cdots

ここで、k_rはキュムラント(cumulant)と呼ばれ、k(t)r階微分で定義されます。

k_r = K_r(t) \big|_{t=0} = \left. \frac{d^r K(t)}{dt^r} \right|_{t=0}

例えば、r=1, 2のときは、

K_1(t) = \frac{dK(t)}{dt} = \frac{1}{M(t)} \frac{dM(t)}{dt} \\ K_2(t) = \frac{d^2 K(t)}{dt^2} = \frac{1}{M(t)} \frac{d^2 M(t)}{dt^2} - \frac{1}{M(t)^2} \left( \frac{dM(t)}{dt} \right)^2

となります。これらは積率母関数の性質M(0)=1, \quad M'(t)|_{t=0}=E[X], \quad M''(t)|_{t=0}=E[X^2]を用いると、

\begin{align*} k_1 &= K_1(t) \big|_{t=0} = E[X] \\ k_2 &= K_2(t) \big|_{t=0} = E[X^2] - E[X]^2 = E[(X - E[X])^2] \\ k_3 &= K_3(t) \big|_{t=0} = E[(X - E[X])^3] \end{align*}

このように、平均、分散、歪度(のようなもの)が、各項に現れます。

中心極限定理の証明

S_nのモーメント母関数の対数(キュムランと母関数)は、

M_{S_n}(t) =E[e^{tz_1/\sqrt{n}}] \cdot E[e^{tz_2/\sqrt{n}}] \cdots E[e^{tz_n/\sqrt{n}}] = M_{z}(\frac{t}{\sqrt{n}})^n \\ K_{S_n}(t) = n log M_z(\frac{t}{\sqrt{n}}) = nK_z(\frac{t}{\sqrt{n}})

ここで、キュムラント母関数のマクローリン展開に対して、S=t/\sqrt{n}とすると、

\begin{align*} K(s) &= k_1\frac{s^1}{1!} + k_2\frac{s^2}{2!} + k_3\frac{s^3}{3!} + k_4\frac{s^4}{4!} + \cdots \\ K_{S_n}(t) &= n \left\{ K(0) + k_1 \frac{t}{\sqrt{n}} + k_2 \frac{t^2}{2! \sqrt{n^2}} + k_3 \frac{t^3}{3! \sqrt{n^3}} + k_4 \frac{t^4}{4! \sqrt{n^4}} + \cdots \right\} \\ &= n \left\{ \frac{\sigma^2}{2!} \left( \frac{t}{\sqrt{n}} \right)^2 + \frac{k_3}{3!} \left( \frac{t}{\sqrt{n}} \right)^3 + \frac{k_4}{4!} \left( \frac{t}{\sqrt{n}} \right)^4 + \cdots \right\} \\ &= \frac{\sigma^2}{2!} t^2 + \frac{k_3}{3! \sqrt{n}} t^3 + \frac{k_4}{4! n} t^4 + \cdots \end{align*}
\lim_{n \to \infty} \log E(\exp(tS_n)) = \frac{t^2}{2} \\ \text{As } n \to \infty, Z_n \xrightarrow{d} N(0,1)

分布収束の早さは、元の分布の歪度、尖度が正規分布に近いかどうかに依存していることが理解できます。