Botter自主ゼミノート 3.1, 3.2 確率変数列の収束

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性
Botter自主ゼミノート 2.6 確率過程の周波数表現
Botter自主ゼミノート 2.7 マルコフ過程
Botter自主ゼミノート 2.8 正規型確率過程
Botter自主ゼミノート 2.9 ウィーナ過程(1)
Botter自主ゼミノート 2.9 ウィーナ過程(2)
Botter自主ゼミノート 2.10 白色雑音

3.1 数学的準備

二次確率変数について

教科書によると、確率変数$x_1, x_2, \cdots$がそれぞれ有限な二次モーメント$\mathcal{E}\{x_1^2\}, \mathcal{E}\{x_2^2\}, \cdots \:(\mathcal{E}\{x_i^2\} < \infty, i = 1, 2, \cdots)$を持つ場合、それらは二次確率変数と呼ばれるそうです。

シュヴァルツの不等式より

$$\left[\mathcal{E}\{|x_1 x_2|\}\right]^2 \le \mathcal{E}\{x_1^2\}\mathcal{E}\{x_2^2\} < \infty \tag{3.1}$$

であるので、$c$を実定数とすると、

$$\mathcal{E}\{(x_1+x_2)^2\} < \infty, \quad \mathcal{E}\{(cx_1)^2\} = c^2 \mathcal{E}\{x_1^2\} < \infty \tag{3.2}$$

が成立します。したがって、二次確率変数は、確率空間上で線形ベクトル空間を構成します。

シュヴァルツの不等式については教科書の付録に簡単に説明が書かれています。

式(3.2)の第一式は、有限のもの同士を足し算しても無限にはならないので…ということなのかなあ。

確率過程$\{x(t), t \in T\}$は、$\mathcal{E}\{|x(t)|^2\} < \infty \: (t \in T)$であるなら、二次確率過程と呼ばれます。

前章で触れた白色雑音は、無限大の分散を持つので二次確率過程ではありません。

白色雑音の自己相関関数は、時間差$\tau = 0$の時無限大になるので、無限大の分散をもつことになります。

3.2 確率変数列の収束

三種類の収束

$\{x_n(\omega), n=1,2,\cdots\}$を(スカラー)確率変数列とします。この時、$_n$がある値$x$に収束する仕方には、主として次の三つがあるそうです。

1. 変数列$\{x_n(\omega)\}$が、もしすべての$\omega \in \Omega$に対して

$$\lim_{n \to \infty} x_n(\omega) = x \tag{3.3}$$

となるならば、変数列$\{x_n(\omega)\}$は確率$1$で$x$に収束するといい、

$$\lim_{n \to \infty} x_n = x \: (\text{w.p.1}) \tag{3.4}$$

と表記します。この収束を概収束と呼びます。

Wikipediaに書いてあった例は、短命な生き物が毎日食べる食事の量を確率変数$X$とすると、その生き物はいつか死ぬので$X$は$0$に確率$1$で$0$に収束すると言える、というもの。なるほど…。

2. $\{x_n(\omega)\}$が、すべての$\epsilon > 0$に対して

$$\lim_{n \to \infty} \Pr\{|x_n(\omega)-x| \ge \epsilon \} = 0 \tag{3.5}$$

となるならば、$\{x_n(\omega)\}$は確率的に$x$に収束するといい

$$\underset{n \to \infty}{p\text{-lim}}\:x_n = x \tag{3.6}$$

と表記します。この収束を確率収束と呼びます。

Wikipediaに書いてあった例は、ダーツのゲームをある人が延々と練習するイメージだそうです。その人は練習をすればするほど上手になってきて真ん中に当たる確率が上がっていく。なので、この確率変数は20点が出る確率が上がってきて、だんだん20点に収束するけれど、失敗する率はなくなるわけではないので、確率$1$で20に収束しているわけではない…と言う話らしい。

なるほど。

3. $\{x_n(\omega)\}$が、すべての$n$に対して$\mathcal{E}\{|x_n|^2\} < \infty$で、かつ$\mathcal{E}\{|x|^2\} < \infty$ に対して

$$\lim_{n \to \infty} \mathcal{E}\{|x_n - x|^2\} = 0 \tag{3.7}$$

となるなら、$\{x_n(\omega)\}$は二乗平均で$x$に収束するといい、

$$\underset{n \to \infty}{\text{l.i.m.}}\:x_n = x \tag{3.8}$$

と表記します。この収束を二乗平均収束と呼びます。また、収束値$x$を${x_n}の二乗平均収束値と呼びます。

$\lim$に点がはさまりおった。

これらの間の成立関係については、概収束するのであれば確率収束する、二乗平均収束するのであれば確率収束するということはできますが、概収束と二乗平均収束の間の関係は一般的には何も言えません。

二乗平均収束するのであれば確率収束することは、チェビシェフの不等式を用いて証明します。

有限のモーメントを持つ確率変数$x$に対して、$\epsilon > 0$とすると、以下が成立します。

$$\Pr\{|x| \ge \epsilon\} \le \frac{\mathcal{E}\{|x|^2\}}{\epsilon^2}$$

ここで$x$に$x_n(\omega) - x$を代入して

$$\Pr\{|x(\omega) - x| \ge \epsilon\} \le \frac{\mathcal{E}\{|x(\omega) - x|^2\}}{\epsilon^2}$$

二乗平均収束が成立する場合、$n \to \infty$の時、右辺は$0$となるので以下の式が成立し、二乗平均収束するのであれば確率収束することがわかります。

$$\Pr\{|x(\omega) - x| \ge \epsilon\} \le \frac{\mathcal{E}\{|x(\omega) - x|^2\}}{\epsilon^2} \to 0 \: (n \to \infty) \tag{3.9}$$

教科書によると、概収束と確率収束は二乗平均収束に比べるとその証明は難しいのだそうです。そして、以後教科書では二乗平均収束を用いるとのことです。

教科書によると、変数列$\{x_n(\omega)\}$の二乗平均収束に対する必要十分条件は、以下のコーシーの収束判定条件を満たすことだそうです。

$$\lim_{n,m \to \infty} \mathcal{E}\{|x_n - x_m|^2\} = 0$$

教科書には必要性の証明は以下の式から容易にできる、とあるのですが、パッと見よくわかりません。また、十分性の証明は難しいので教科書内では説明されていません。

$$\begin{aligned} |x_n - x_m|^2 &= |(x_n - x) + (x - x_m)|^2\\ & \le 2|xn - x|^2 + 2|x - x_m|^2 \end{aligned}$$

二乗平均収束の性質

教科書では、二乗平均収束に関する性質が4つ説明されています。$x = \{x_n(\omega)\}, y = \{y_n(\omega)\}, z = \{z_n(\omega)\}\:(\omega \in \Omega)$を確率変数列とし、さらに$x = \underset{n \to \infty}{\text{l.i.m.}}\:x_n, \: y = \underset{n \to \infty}{\text{l.i.m.}}\:y_n, \: z = \underset{n \to \infty}{\text{l.i.m.}}\:z_n$とし、$a, b$を定数としたとき

1. $\underset{n \to \infty}{\text{l.i.m.}}\:(a x_n + b y_n) = a \cdot \underset{n \to \infty}{\text{l.i.m.}}\: x_n + b \cdot \underset{n \to \infty}{\text{l.i.m.}}\: y_n$

教科書内の証明を追いかけてみます。表記を簡単にするために、$x = \underset{n \to \infty}{\text{l.i.m.}}\:x_n, \: y = \underset{n \to \infty}{\text{l.i.m.}}\:y_n$とします。

$\text{l.i.m.}$の定義を考えれば、もし下式が成立するなら、与式の証明ができたことになります。

$$\lim_{n \to \infty} \mathcal{E} \{|ax_n + by_n - ax - ay|^2 \} = 0$$

まず、$\lim$の内部を以下のように変形します。

$$\mathcal{E}\{|ax_n + by_n - ax - ay|^2\} = \mathcal{E}\{|a(x_n - x) + b(y_n - y)|^2\} \tag{A}$$

不等式(B)を使って式(A)を変形します。ただし、$\nu \le 1$の時$c_\nu = 1$、$\nu > 1$のとき$c_\nu = 2^{\nu - 1}$となります。

$$\begin{aligned} |a+b|^\nu & \le c_\nu (|a|^\nu + |b|^\nu) \\ \mathcal{E}\{|a+b|^\nu\} & \le c_\nu \left[ \mathcal{E}\{|a|^\nu\} + \mathcal{E}\{|b|^\nu\} \right] \tag{B} \end{aligned}$$

変形の結果は以下のようになります。

$$\begin{aligned} \mathcal{E}\{|a(x_n - x) + b(y_n - y)|^2\} & \le 2 a^2 \mathcal{E}\{|x_n - x|^2\} + 2 b^2 \: \mathcal{E}\{|y_n - y|\} \end{aligned}$$

ここで両辺ともに$n \to \infty$とすると

$$\lim_{n \to \infty} \mathcal{E}\{|ax_n + by_n - ax - ay|^2\} \le 2 a^2 \lim_{n \to \infty} \mathcal{E}\{|x_n - x|^2\} + 2 b^2 \lim_{n \to \infty} \mathcal{E}\{|y_n - y|^2\}$$

右辺第一項と右辺第二項はどちらも$0$に収束し、左辺は負の値にはならないので、

$$\lim_{n \to \infty} \mathcal{E}\{|ax_n + by_n - ax - ay|^2\} = 0$$

上式を$\text{l.i.m.}$の定義と照らし合わせると、以下の式が成立する事がわかり、証明が完了します。

$$\underset{n \to \infty}{\text{l.i.m.}}\:(a x_n + b y_n) = ax + by$$

2. $\lim_{n \to \infty} \mathcal{E}\{x_n\} = \mathcal{E}\left\{ \underset{n \to \infty}{\text{l.i.m.}}\: x_n \right\}$

教科書内の証明を追いかけてみます。表記を簡単にするために、$x = \underset{n \to \infty}{\text{l.i.m.}}\:x_n$とします。

与式を$x$を使って書き換えると以下のようになります。

$$\lim_{n \to \infty} \mathcal{E}\{x_n\} = \mathcal{E}\{x\}$$

上式から、$\lim_{n \to \infty} \mathcal{E}\{x_n - x\} = 0$なら、与式の証明ができたことになります。

ここで、シュヴァルツの不等式から、以下のような式が成立します。

$$|\mathcal{E}\{x_n - x\}|^2 \le \mathcal{E}\{|x_n - x|^2\}$$

ここで$n \to \infty$とすると

$$\lim_{n \to \infty} |\mathcal{E}\{x_n - x\}|^2 \le \lim_{n \to \infty} \mathcal{E}\{|x_n - x|^2\}$$

となり、右辺は$\text{l.i.m.}$の定義そのものなので$0$となり、左辺はかならず$0$以上となります。結果以下の式が成立することがわかり、証明が完了します。

$$\begin{aligned} \lim_{n \to \infty} |\mathcal{E}\{x_n - x\}|^2 &= 0 \\ \lim_{n \to \infty} \mathcal{E}\{x_n - x\} &= 0 \end{aligned}$$

3. $\lim_{n,m \to \infty} \mathcal{E}\{x_n y_m\} = \mathcal{E}\left\{ \underset{n \to \infty}{\text{l.i.m.}}\: x_n \underset{n \to \infty}{\text{l.i.m.}}\: y_n \right\}$。また、特別な場合として$\lim_{n \to \infty} \mathcal{E}\{x_n^2\} = \mathcal{E}\left\{ \underset{n \to \infty}{\text{l.i.m.}}\: x_n^2 \right\}$

教科書内の証明を追いかけてみます。表記を簡単にするために、$x = \underset{n \to \infty}{\text{l.i.m.}}\:x_n, \: y = \underset{n \to \infty}{\text{l.i.m.}}\:y_n$とします。

与式を$x, y$を使って書き換えると以下のようになります。

$$\lim_{n, m \to \infty} \mathcal{E}\{x_n y_m\} = \mathcal{E}\{xy\}$$

上式から、$\lim_{n, m \to \infty} |\mathcal{E}\{x_n y_m - xy\}| = 0$なら、与式の証明ができたことになります。

ここで式変形を進めていきます。

$$\begin{aligned} |\mathcal{E}\{x_n y_m - xy\}| &= |\mathcal{E}\{(y_m -y)x + (x_n - x)y + (x_n - x)(y_m - y)\}|\\ & \le |\mathcal{E}\{(y_m -y)x| + |\mathcal{E}\{(x_n - x)y\}| + |\mathcal{E}\{(x_n - x)(y_m - y)\}| \end{aligned}$$

ここで、最終行にシュヴァルツの不等式$\mathcal{E}\{|xy|\} \le \sqrt{\mathcal{E}\{|x|^2\}} \sqrt{\mathcal{E}\{|y|^2\}}$を適応して変形し、さらに両辺で$n, m \to \infty$とします。

$$\begin{aligned} \lim_{n,m \to \infty}|\mathcal{E}\{x_n y_m - xy\}| &\le \sqrt{\lim_{n,m \to \infty} \mathcal{E}\{|y_m - y|^2\}} \sqrt{\lim_{n,m \to \infty} \mathcal{E}\{|x|^2\}} + \sqrt{\lim_{n,m \to \infty} \mathcal{E}\{|x_n - x|^2\}} \sqrt{\lim_{n,m \to \infty} \mathcal{E}\{|y|^2\}} + \sqrt{\lim_{n,m \to \infty} \mathcal{E}\{|x_n - x|^2\}} \sqrt{\lim_{n,m \to \infty} \mathcal{E}\{|y_m - y|^2\}} \end{aligned}$$

上式右辺の全ての項は、$\text{l.i.m.}$の定義そのものを含んでおり、全てが$0$となります。さらに左辺は必ず$0$以上となり、結果以下の式が成立することがわかり、証明が完了します。

$$\lim_{n,m \to \infty}|\mathcal{E}\{x_n y_m - xy\}| = 0$$

4. $\mathcal{E}\{x_n y_n\} = \mathcal{E}\{z_n\}$ならば、$\mathcal{E} \left\{ \underset{n \to \infty}{\text{l.i.m.}}\: x_n \underset{n \to \infty}{\text{l.i.m.}}\: y_n \right\} = \mathcal{E}\left\{\underset{n \to \infty}{\text{l.i.m.}}\: z_n \right\}$となる

教科書内の証明を追いかけてみます。表記を簡単にするために、$x = \underset{n \to \infty}{\text{l.i.m.}}\:x_n, \: y = \underset{n \to \infty}{\text{l.i.m.}}\:y_n, \: z = \underset{n \to \infty}{\text{l.i.m.}}\:z_n$とします。

(2)と(3)を用いることで、

$$\mathcal{E}\{z\} = \lim_{n \to \infty} \mathcal{E}\{z_n\} = \lim_{n \to \infty} \mathcal{E}\{x_n y_n\} = \mathcal{E}\{xy\}$$

以上が示され、証明が完了します。

二乗平均の極限値について

二乗平均の極限値は唯一のものになります。すなわち、$\{x_n\}$が$y$または$z$に二乗平均収束する場合、$y$と$z$は確率的に等価、つまり$\Pr\{y = z\} = 1$となります。この時、$y = \text{l.i.m.}\:x_n, \: z = \text{l.i.m.}\:z_n$であるので

$$\begin{aligned} \mathcal{E}\{|y-z|\} &= \mathcal{E}\{|(y-x_n)-(z-x_n)|^2\}\\ &= \mathcal{E}\{|(y-x_n)+(x_n-z)|^2\}\\ & \le 2 \mathcal{E}\{|y-x_n|^2\} + 2 \mathcal{E}\{|x_n-z|^2\} \end{aligned}$$

となり、右辺の$n \to \infty$の極限を取ると、$\mathcal{E}\{|y - z|^2\} = 0$であることがわかる。

ここで、チェビシェフの不等式を用いて確率変数$y-x$の二次モーメントから確率を求めると

$$\Pr\{|y-z| > \epsilon\} \le \frac{1}{\epsilon^2} \mathcal{E}\{|y-z|^2\}$$

上式が任意の$\epsilon$に対して成り立つので、$\Pr\{y = z\} = 1$であることが分かります。

これが成立することは分かりましたが、まだこれの何がすごく便利なのかは理解できていません。そのうち大活躍するのでしょうか？

ともあれ、3.1節と3.2節では、二次確率過程の二乗平均収束がどのようなふるまいをするかを勉強しました。なんか大学の数学の授業でこんな極限の話をしていたような記憶がよみがえってきました。この教科書は、他の確立過程の教科書に比べて数学的な厳密さを余り求めていないという評判なのですが、これくらいは最低限抑えておかないといけないということなんでしょうか。

当時はわからなかったんですが、新しい定理なり証明を武器として、一つ一つプチプチをつぶすように論理を組み立てて先に進んでいくんですね。なんかRPGで遊んでるみたいだな…って思いました。大学生のころこの感覚を持てていれば、もう少し数学の成績がマシになっていたのかもしれません。