Botter自主ゼミノート 2.10 白色雑音

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性
Botter自主ゼミノート 2.6 確率過程の周波数表現
Botter自主ゼミノート 2.7 マルコフ過程
Botter自主ゼミノート 2.8 正規型確率過程
Botter自主ゼミノート 2.9 ウィーナ過程(1)
Botter自主ゼミノート 2.9 ウィーナ過程(2)

2.10 白色雑音

白色雑音のパワースペクトル密度

2.9節で、ウィーナ過程を導出するために以下のような性質を持つ白色雑音の存在を仮定しました。

$$\mathcal{E}\{ \gamma(t) \} = 0, \quad \mathcal{E}\{ \gamma(t)\gamma(s)\} = 2D\delta(t-s) \tag{2.72}$$

教科書では白色雑音がどのような物理的過程であるかを調べています。

平均値が$0$で自己相関関数が以下の式(2.84)で与えられる$z(t)$過程を考えます。この自己相関関数は、時間差$|\tau|$が大きくなるほど小さくなり、互いに相関がなくなることを示しています。

$$\begin{aligned} \psi_z(\tau) &= \mathcal{E} \{z(t)z(t+\tau)\}\\ &= \alpha e^{-\beta|\tau|} \tag{2.84} \end{aligned}$$

このとき、パワースペクトル密度$S_z(\lambda)$は式(2.35)より

$$\begin{aligned} S_z(\lambda) &= \int_{-\infty}^{\infty} \alpha e^{-\beta |\tau|} e^{-j\lambda \tau} d\tau \\ &= \int_{-\infty}^{0} \alpha e^{\beta \tau} e^{-j \lambda \tau} d \tau + \int_{0}^{\infty} \alpha e^{-\beta \tau} e^{-j \lambda \tau} d \tau\\ &= \alpha \int_{-\infty}^{0} e^{(\beta - j \lambda)\tau} d \tau + \alpha \int_{0}^{\infty} e^{-(\beta + j \lambda)\tau} d \tau\\ &= \alpha \left[ \frac{e^{(\beta - j\lambda)\tau}}{\beta - j \lambda} \right]_{-\infty}^{0} + \alpha \left[ \frac{e^{-(\beta + j \lambda)\tau}}{-(\beta + j \lambda)} \right]_{0}^{\infty} \tag{A} \end{aligned}$$

$$\begin{aligned} \lim_{\tau \to -\infty} |e^{(\beta - j \lambda)\tau} | &= \lim_{\tau \to -\infty} | e^{\beta \tau}\ ( \cos(-j \lambda) + i \sin(-j \lambda) ) | \\ &= \lim_{\tau \to -\infty} e^{\beta \tau} \\ &= 0 \tag{B}\\ \end{aligned}$$

$$\begin{aligned} \lim_{\tau \to \infty} |e^{-(\beta + j \lambda)\tau} | &= \lim_{\tau \to \infty} | e^{-\beta \tau}\ ( \cos(-j \lambda) + i \sin(-j \lambda) ) | \\ &= \lim_{\tau \to \infty} e^{-\beta \tau} \\ &= 0 \tag{C}\\ \end{aligned}$$

ここで式(A)と式(B)と式(C)を用いて計算すると、式(2.85)が得られます。

$$\begin{aligned} S_z(\lambda) &= \frac{\alpha}{\beta - j \lambda} + \frac{\alpha}{\beta + j \lambda} \\ &= \frac{\alpha(\beta - j \lambda) + \alpha(\beta + j \lambda)}{\beta^2 + \lambda^2} \\ &= \frac{2 \alpha \beta}{\beta^2 + \lambda^2} = \frac{2\alpha}{\beta}\frac{1}{1+(\lambda / \beta)^2} \tag{2.85}\\ \end{aligned}$$

ここで、$\alpha / \beta$を一定値に保ちながら$\alpha, \beta \to \infty$とすると、$\psi_z(\tau)$はデルタ関数$\delta(\tau)$に、また$S_z(\lambda)$は一定値$2\alpha / \beta$に近づきます。このような究極を取った過程は、$z(t)$と$z(t +\tau)\:(\tau \ne 0)$では全く相関がなく、$\tau = 0$に対しては無限大の相関を持つことになります。結果として、式(2.72)式で表現される白色雑音$\gamma(t)$であると考えてよいことになります。

周波数領域で見ると、$\gamma(t)$過程はすべての周波数成分を同じ大きさ$2 \alpha / \beta$($=2D$であることは後に示されます)で含むことになります。したがって、 $\gamma(t)$過程のパワースペクトル密度$S_z(\lambda)$を全周波数にわたって積分して得られる全パワーは無限大となってしまい、そのような過程は実際には存在しえないことがわかります。

なるほど、ここは無理なく理解できました。

白色雑音の表現はこういう書き方もあるんですね。教科書には$\alpha$と$\beta$を変化させるとどのように$\psi_z(\tau)$と$S_z(\lambda)$が白色雑音に近づくかがデルタ関数に近づくかがわかりやすく図示されています。

白色雑音が用いられる理由

実際に存在し得ないにも関わらず、システムあるいは観測過程で介入する雑音は白色雑音によってモデル化されるのが普通だそうです。教科書では、なぜ存在し得ない白色雑音がよく用いられるのかが以下のように説明されています。

1. $\gamma(t)$をスカラー白色雑音とすると、その相関関数は$\mathcal{E}\{\gamma(t)\gamma(s)\} = 2D\delta(t-s)$のように与えられ、$t \ne s$ならばこれは0となり、$\gamma(t)$と$\gamma(s)$をつながりを規定するダイナミクス (微分方程式) の導入の必要がなくなります
2. 不規則外乱の周波数成分は未知である事が多く、外乱を白色雑音でモデル化しておけば、どのような周波数帯域を持つ不規則外乱に対しても、一種のロバスト性を持つシステム設計ができるます
3. $t=s$のときには$\mathcal{E}\{\gamma^2(t)\} = 2D\delta(0)$となりますが、この$\delta$関数は通常積分演算の中にのみ現れるので、その定義により一連の演算が著しく簡単になります。特に二重積分は通常の積分になります
4. システムの状態料の統計量として、平均値と相関関数 (分散共分散マトリクス) 、あるいはパワースペクトル密度が与えられたとき、そのような状態料を生み出すダイナミクスを白色雑音を入力として生成することができます。

白色雑音から特定の統計量を持つ過程を生成する

白色雑音が用いられる理由4の例として、教科書では平均値が$0$で自己相関関数が式(2.84)となる過程を白色雑音から生成しています。

$$\begin{aligned} \psi_z(\tau) &= \mathcal{E} \{z(t)z(t+\tau)\}\\ &= \alpha e^{-\beta|\tau|} \tag{2.84} \end{aligned}$$

まず、以下のようなスカラー過程を考えます。このとき$a$と$b$は定数、初期値$z(0) = z_0$は、平均値が$0$で白色雑音$\gamma(t)$とは独立、つまり$\mathcal{E}\{z_0\gamma(t)\} = 0$である確率変数とします。

$$\dot{z}(t) = az(t)+b\gamma(t)\quad(0 \le t \le \infty) \tag{2.86}$$

式(2.86)を解いてから$\mathcal{E}\{\gamma(t)\} = 0$を用いて期待値演算を行うと、式(2.87)のようになります。

$$\begin{aligned} z(t) &= z_0 e^{at} + b \int_{0}^{t} e^{a(t-s)} \gamma(s) ds \\ \mathcal{E}\{z(t)\} &= \mathcal{E}\{z_0\} e^{at} + b \int_{0}^{t} e^{a(t-s)} \mathcal{E}\{\gamma(s)\} ds \\ &= 0 \tag{2.87} \end{aligned}$$

ラグランジュの未定乗数法を使った解き方はBotter自主ゼミノート2.9 ウィーナ過程(2)で一度やったので、それが役に立ちました。

ここで、$\tau > 0$として自己相関関数$\psi_z(t+\tau, t)$を計算すると

$$\begin{aligned} \psi_z(t+\tau, t) &= \mathcal{E}\{z(t+\tau)z(t)\} \\ &= \mathcal{E}\left\{ \left[ e^{a(t+\tau)}z_0 + b \int_{0}^{t+\tau} e^{a(t+\tau-s)} \gamma(s) ds \right] \cdot \left[ e^{at}z_0 + b \int_{0}^{t} e^{a(t-\sigma)} \gamma(\sigma) d\sigma \right] \right\} \\ &= e^{a(2t+\tau)} \mathcal{E}\{z_0^2\} + b e^{a(2t+\tau)} \mathcal{E}\{z_0\}\int_{0}^{t+\tau} e^{a(t+\tau-s)} \mathcal{E}\{ \gamma(s) \} ds + b e^{a(2t+\tau)} \mathcal{E}\{z_0\}\int_{0}^{t} e^{a(t-\sigma)} \mathcal{E}\{ \gamma(\sigma) \} d\sigma + b^2e^a(2t+\tau) \int_{0}^{t+\tau} \int_{0}^{t} e^{-a(s+\sigma)} 2D\delta(s-\sigma) d\sigma ds \end{aligned}$$

のようになります。

最終行の変形では、$\gamma(t)$の定義、$\mathcal{E}\{\gamma(t)\gamma(s)\} = 2D\delta(s-t)$を利用しています

さらに計算を続けると式(2.88)のようになります。

$$\begin{aligned} &= e^{a(2t+\tau)} \mathcal{E}\{z_0^2\} + b e^{a(2t+\tau)} \mathcal{E}\{z_0\}\int_{0}^{t+\tau} e^{a(t+\tau-s)} \cdot 0 \: ds + b e^{a(2t+\tau)} \mathcal{E}\{z_0\}\int_{0}^{t} e^{a(t-\sigma)} \cdot 0 \: d\sigma + 2D b^2e^a(2t+\tau) \int_{0}^{t+\tau} \int_{0}^{t} e^{-a(s+\sigma)} \delta(s-\sigma)d\sigma ds \\ &= e^{a(2t+\tau)} \mathcal{E}\{z_0^2\} + 2D b^2e^a(2t+\tau) \int_{0}^{t} e^{-a(2s)} ds \\ &= e^{a(2t+\tau)} \left[ \mathcal{E}\{z_0^2\} + \frac{1}{a} D b^2 (1 - e^{-2at}) \right] \tag{2.88} \end{aligned}$$

$\mathcal{E}\{ \gamma(t) \} = 0$を利用すると第二項、第三項が$0$になりました。さらに、第四項の二重積分の部分は、$s = \sigma$の時のみ値を持つので、それを利用してシンプルな形にすることができました。

式(2.88)が$\alpha e^{-\beta|\tau|}$に等しいので、$a, b$と$\alpha, \beta$の関係を計算していきます。

$$\begin{aligned} \alpha e^{-\beta|\tau|} &= e^{a(2t+\tau)} \left[ \mathcal{E}\{z_0^2\} + \frac{1}{a} D b^2 (1-e^{-2at}) \right] \\ &= e^{a(2t+\tau)} \mathcal{E}\{z_0^2\} + e^{a(2t+\tau)} \frac{1}{a} D b^2 (1 - e^{-2at} ) \\ &= e^{a(2t+\tau)} \mathcal{E}\{z_0^2\} + \frac{1}{a} D b^2 (e^{a(2t+\tau)} - e^{a\tau} ) \\ &= e^{a(2t+\tau)} \left(\mathcal{E}\{z_0^2\} + \frac{1}{a} D b^2 \right) - \frac{1}{a} D b^2 e^{a\tau} \\ \end{aligned}$$

ここで、$a = -\beta$とすると

$$\begin{aligned} &= e^{a(2t+\tau)} \left( \mathcal{E} \{z_0^2\} + \frac{1}{-\beta} D b^2 \right) - \frac{1}{-\beta} D b^2 e^{-\beta\tau} \\ \end{aligned}$$

さらに、$b = \sqrt{\alpha \beta / D}$とすると

$$\begin{aligned} &= e^{a(2t+\tau)} \left( \mathcal{E} \{z_0^2\} + \frac{1}{-\beta} D \frac{\alpha \beta}{D} \right) - \frac{1}{-\beta} D \frac{\alpha \beta}{D} e^{-\beta\tau} \\ &= e^{a(2t+\tau)} \left( \mathcal{E} \{z_0^2\} - \alpha \right) + \alpha e^{-\beta\tau} \\ \end{aligned}$$

さらに、$\mathcal{E} \{z_0^2\} = \alpha$とすると

$$\begin{aligned} &= e^{a(2t+\tau)} \left( alpha - \alpha \right) + \alpha e^{-\beta\tau} \\ &= \alpha e^{-\beta\tau} \\ \end{aligned}$$

最初に与えた$\tau > 0$の条件の時、$|\tau| = \tau$なので、最終的に式(2.84)が得られます。

このことから、適切な$\alpha, \beta, z_0$を設定すれば、式(2.86)の過程の相関関数は式(2.84)の形で表すことができることがわかります。このようにして生成される$z(t)$過程を、白色雑音に対して有色雑音と言います。

見方を変えると、式(2.86)は、与えられた相関関数(2.84)あるいはパワースペクトル密度(2.85)を持つ出力を生成する線形ダイナミクスと見ることもできます。これを、成型フィルタと呼びます。

白色雑音のパラメータを変えることで、少しフレーバーが付いた白色雑音付きの過程を表現することもできる、ということですね。なんか不思議な感じです。

正規性白色雑音とウィーナ過程

白色雑音は数学的な虚構ですが、取り扱いやすいので、確率システム理論の初期の発展期では、主にこのモデルがシステムの不規則外乱として用いられました。白色雑音を線形返還した過程が正規型確率過程となるとき、それを正規性白色雑音と呼びます。

教科書では、正規性白色雑音とウィーナ過程との間には

$$w(t) = \int_{0}^{t} \gamma(\tau) d\tau \tag{2.89}$$

という関係が成り立つことを証明しています。以下その証明を確認していきます。

$\theta(t)$を以下のような正規型確率過程とします。相関関数は式(2.84)で与えられています。

$$\mathcal{E}\{\theta(t)\} = 0, \quad \psi_\theta (\tau) = \alpha e^{-\beta |\tau|} \quad (\alpha, \beta > 0) \tag{2.90}$$

さらに、$\theta(t)$を積分して得られる過程を

$$\eta(t) = \int_{0}^{t} \theta(\tau) d\tau \tag{2.91}$$

とします。

自己相関関数$\psi_\theta (\tau)$に対して積分を行うと

$$\begin{aligned} \int_{-\infty}^{\infty} \psi_\theta (\tau) d\tau &= \int_{-\infty}^{\infty} \alpha e^{-\beta|\tau|} d \tau \\ &= \int_{-\infty}^{0} \alpha e^{\beta \tau} d \tau + \int_{0}^{\infty} \alpha e^{-\beta \tau} d \tau &= \left[ \frac{\alpha}{\beta} e^{\beta \tau} \right]_{-\infty}^{0} + \left[ -\frac{\alpha}{\beta} e^{\beta \tau} \right]_{0}^{\infty} &= \frac{\alpha}{\beta} + 0 + 0 + \frac{\alpha}{\beta}\\ &= \frac{2\alpha}{\beta} \end{aligned}$$

となる。この値は、自己相関関数$\psi_\theta (\tau)$の全領域を積分したときの値であるので、$\alpha/\beta$を一定に保ちながら$\alpha, \beta \to \infty$とすると、$\psi_\theta (\tau)$は大きさ$2\alpha / \beta$を持つデルタ関数となります。一方で、$\gamma(t)$過程の相関関数は式(2.72)で与えられ$2D\delta(\tau)$であるから、

$$D = \frac{\alpha}{\beta} \tag{2.92}$$

の関係が成立することが分かります。つまり、式(2.90)の特徴を持つ$\theta(t)$過程を、$\alpha/\beta = D$を一定にしながら$\alpha, \beta \to \infty$とすると、$\theta(t)$過程は正規性白色雑音$\gamma(t)$と等しくなることが分かります。

では、$\theta(t)$を積分して得られる$eta(t)$は、そのような極限操作によってウィーナ過程$w(t)$になるのでしょうか？

$\eta(t)$の期待値と相関関数を確認してみます。

$$\mathcal{E}\{\eta(t)\} = \int_{0}^{t} \mathcal{E}\{\theta(\tau)\} d\tau = 0 \tag{2.93}$$

$$\begin{aligned} \mathcal{E}\{\eta^2(t)\} &= \int_{0}^{t} \int_{0}^{t} \mathcal{E}\{\theta(\tau_1)\} \mathcal{E}\{\theta(\tau_2)\} d\tau_1 d\tau_2\\ &= \int_{0}^{t} \int_{0}^{t} \alpha e^{-\beta |\tau_1 - \tau_2|} d\tau_1 d\tau_2\\ &= \int_{0}^{t} \int_{0}^{t} \alpha e^{-\beta |\tau_1 - \tau_2|} d\tau_1 d\tau_2\\ &= \int_{0}^{t} 2 \cdot \int_{0}^{\tau_1} \alpha e^{-\beta |\tau_1 - \tau_2|} d\tau_2 d\tau_1\\ \end{aligned}$$

最終行の変形は、積分の順番を入れ替えてから、\tau_2に関する積分は絶対値を含んでいるので、$\tau_2 \le \tau_1$と$\tau_2 \ge \tau_1$で分割して足し算します。この時、境界値を挟んで左右対称であることを利用して片側だけ積分して2倍しています。

$$\begin{aligned} &= 2 \frac{\alpha}{\beta} \int_{0}^{t} (1 - e^{-\beta \tau_1}) d\tau_1\\ &= 2 D \left[ \tau_1 + \frac{1}{\beta} e^{-\beta \tau_1} \right]_{0}^{t} \\ &= 2 D \left( t + \frac{1}{\beta} e^{-\beta t} - 0 - \frac{1}{\beta} \right) \\ &= 2 D \left( t - \frac{1}{\beta} (1 - e^{-\beta t}) \right) \\ \end{aligned}$$

よって

$$\lim_{\alpha, \beta \to \infty \quad \alpha / \beta = \text{const}} \mathcal{E}\{\eta(t)\} = 2Dt \tag{2.95}$$

となります。$\theta(t)$の分布を正規型と仮定しているので、線形演算を加えただけの$\eta(t)$過程も正規型になります。また、初期値$\eta(0)$は、式(2.90)の定義より確率$1$で$0$となることが明らかです。ここまでの考察から、式(2.91)で与えられる$\eta(t)$過程は、$\alpha, \beta \to \infty$の極限ではウィーナ過程$w(t)$に収束することが分かります。

以上から、正規性白色雑音$\gamma(t)$とウィーナ過程$w(t)$は式(2.89)のような簡単な関係が成り立ち、$w(t)$は$\gamma(t)$の積分で与えられることが分かりました。そのため、

$$\frac{dw(t)}{dt} = \gamma(t)$$

という関係式が成立するように見えますが、2.9で説明されていた通り、ウィーナ過程はいたるところで確率$1$で微分不可能であるので上式は成立しません。

ただし、$w(t)$の増分$dw(t)$は存在するので、以下の式(2.96)は成立します。

$$dw(t) = \gamma(t)dt \tag{2.96}$$

式(2.95)から、ウィーナ過程の分散パラメータ$\sigma^2$と白色雑音$\gamma(t)$の相関関数の係数$2D$との間には、以下のような関係があることが分かります。係数$D$には式(2.83)で与えられるような物理的意味があるので、ウィーナ過程の分散パラメータ$\sigma^2$の意味が理解しやすくなりました。

$$\sigma^2 = 2D \tag{2.97}$$(この後の例2.2でウィーナ過程の形式的微分が白色雑音になることを示していますが省略します)

なぜここではこんな回りくどい説明の仕方をしているんだろう。まず$\theta(t)$が正規性白色雑音になるための$\alpha$と$\beta$の条件を求めて、その条件下で$\eta(t)$を変形させて…式(2.95)を得ているけど結局使っていない。こっそり式(2.57)と一致していることを確認しているのかも。

結局核心部分は、正規性雑音の線形和は正規性を持つことと、初期値が確立$1$で$0$であることで、そこは明らかと言ってしまっている気がする。

ともあれ、これで2章は終わりです。2章では、確率過程をどう数学的に表現するかを習いました。目新しい表現が多かったのですが、だいぶ読めるようになってきたような…。

3章からは、確率過程に対する連続性や微分可能性といったことを見ていくことになるようです。その前に章末の演習問題をやっておこうかなぁ。