Botter自主ゼミノート 2.6 確率過程の周波数表現

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性

2.6 確率過程の周波数表現

スカラー弱定常過程$\{x(t), t \in T\}$の相関関数$\psi(\tau)$の性質

これは教科書の中でも証明はされておらず、性質として紹介されているだけ。

1. $\psi(\tau)$は偶関数。つまり

$$\psi(\tau) = \psi(-\tau) \tag{2.27}$$

2. $\psi(\tau)$は有界。つまり

$$|\psi(\tau)| \le \psi(0) \tag{2.28}$$

3. $\psi(\tau)$は$\tau = 0$で連続ならば、全ての$\tau$についても連続

4. $\psi(\tau)$は非負定値関数。つまり、任意の$t_1, t_2, \cdots , t_N \in T$をとるとき、任意の関数$g(t)$に対して

$$\sum_{j,k=1}^{N} \psi(t_k - t_k)g(t_k)g(t_j) \ge 0 \tag{2.29}$$

うーん、4はちょっとよく分からないぞ。Wikipediaは英語版しかないみたいだな。

前回出てきた正定値行列の弱いバージョン。確か前回は二次形式で表現できるかどうかを分けるのが正定値行列だったはずだけど…今はこの性質がどう役立つのか想像ができない。

スカラー弱定常過程$\{x(t), t \in (-\infty, \infty)\}$のフーリエ変換

スカラー弱定常過程$\{x(t) t \in (-\infty, \infty)\}$のフーリエ変換と逆フーリエ変換は以下の通りになります

$$X(\lambda) = \int_{-\infty}^{\infty} x(t) e^{-j\lambda t} dt \quad (j = \sqrt{-1}) \tag{2.30}$$

$$x(t) = \frac{1}{2 \pi} \int_{-\infty}^{\infty} X(\lambda) e^{j \lambda t} d\lambda \tag{2.31}$$

いきなり当然のように確率過程にeの虚数乗を掛け合わせていてビビります。

確率過程を周波数変換すると、周波数$\lambda$に対応して、実数軸と虚数軸それぞれが確率的な広がりを持った値を持つのだと思います。イメージできるようなできないような、微妙な感じになってきました！　後で出てくるパワースペクトルだとまだ理解しやすい気がします。

エルゴード性を用いた$\{x(t)\}$の相関関数$\psi(\tau)$の周波数表現への変換

$$\begin{aligned} \psi(\tau) &= \mathcal{E}\{x(t+\tau)x(t)\} \\ &= \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^{T} x(t+\tau)x(t) dt\\ &= \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^{T} \left[ \frac{1}{2\pi} \int_{-\infty}^{\infty} X(\lambda) e^{j \lambda (t+\tau)} d\lambda \right] x(t) dt \\ \end{aligned}$$

$\mathcal{E}$の集合平均で表現された$\psi(\tau)$をエルゴード性を用いて時間平均の表現に変形し、その後時間表現されている$x(t+\tau)$をフーリエ変換を使って周波数表現に変えています。

$$= \frac{1}{2\pi} \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^{T} \int_{-\infty}^{\infty} X(\lambda) e^{j \lambda t} e^{j \lambda \tau} x(t) d\lambda dt$$

$\lambda$に対する積分の中に$x(t)$を入れても結果は変わらないので移動します。$e$の乗数の中にあった和を積のかたちに書き換えて、最後に$\frac{1}{2\pi}$は定数なので積分の外に出してしまいます

$$= \frac{1}{2\pi} \lim_{T \to \infty} \frac{1}{2T} \int_{-\infty}^{\infty} \int_{-T}^{T} X(\lambda) e^{j \lambda \tau} x(t) e^{j \lambda t} dt d\lambda$$

重積分は積分する順番を変えても結果は同じなので、$dt$と$d\lambda$を入れ替えます

$$= \frac{1}{2\pi} \lim_{T \to \infty} \frac{1}{2T} \int_{-\infty}^{\infty} X(\lambda) e^{j \lambda \tau} \int_{-T}^{T} x(t) e^{j \lambda t} dt d\lambda$$

$X(\lambda) e^{j \lambda \tau}$は$t$を含まないので、そのまま$t$の積分の外に出してしまいます

$$= \frac{1}{2\pi} \lim_{T \to \infty} \frac{1}{2T} \int_{-\infty}^{\infty} X(\lambda) e^{j \lambda \tau} \int_{-\infty}^{\infty} x(t) e^{j \lambda t} dt d\lambda$$

$t$に関する積分の部分は、$T \to \infty$とすると、フーリエ変換と似た形になりますが、複素指数部分の乗数が正負逆です

$$= \frac{1}{2\pi} \lim_{T \to \infty} \frac{1}{2T} \int_{-\infty}^{\infty} X(\lambda) e^{j \lambda \tau} X^* (\lambda) d\lambda$$

複素指数部分が正負逆のものを使ってフーリエ変換をすると、複素共役の$X^*(\lambda)$が出てきます

$$= \frac{1}{2\pi} \int_{-\infty}^{\infty} \left[ \lim_{T \to \infty} \frac{|X(\lambda)|^2}{2T} \right] e^{j \lambda \tau} d\lambda \tag{2.32}$$

$z z^* = |z|^2$であることを利用してあれこれ整理すると、教科書の式(2.32)がでてきます

弱定常過程$\{x(t)\}$のパワースペクトル密度関数

$\tau=0$の時、$\psi(0)=\mathcal{E}\{x(t)x(t+0)\}=\mathcal{E}\{x^2(t)\}$は確率過程$\{x(t)\}$の強さ (パワー) をあらわします。

また、以下のような積分表現を用いると、$S(\lambda)$はパワーの周波数$\lambda$に対するスペクトル密度関数となります。

$$\psi(0) = \frac{1}{2\pi}\int_{-\infty}^{\infty} S(\lambda) d\lambda$$

式(2.32)は$\psi(\tau)$を周波数表現したものであるので、これに$\tau = 0$を代入すると右辺は確率過程$\{x(t)\}$の強さ (パワー) の周波数表現となります。

$$\begin{aligned} \psi(0) &= \frac{1}{2\pi} \int_{-\infty}^{\infty} \left[ \lim_{T \to \infty} \frac{|X(\lambda)|^2}{2T} \right] e^{0} d\lambda \\ &= \frac{1}{2\pi} \int_{-\infty}^{\infty} \lim_{T \to \infty} \frac{|X(\lambda)|^2}{2T} d\lambda \tag{2.33} \end{aligned}$$

これらのことから、密度関数$S(\lambda)$は以下の通りであることがわかります。

$$S(\lambda) = \lim_{T \to \infty} \frac{|X(\lambda)|^2}{2T}$$

この$S(\lambda)$を用いて式(2.32)を書き直すと以下のように書くことができます。

$$\psi(\tau) = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(\lambda) e^{j \lambda \tau} d\lambda \tag{2.34}$$

式(2.34)は逆フーリエ変換の形になっているので、以下の式も成立します。

$$S(\lambda) = \int_{-\infty}^{\infty} \psi(\tau) e^{-j \lambda \tau} d\tau \tag{2.35}$$

自己相関関数$psi(\tau)$のフーリエ変換で式(2.35)のようにして得られる$S(\lambda)$を、弱定常過程$\{x(t)\}$のパワースペクトル密度関数と定義します。

このあたりはそれほど違和感なく理解することができました

ウィーナ・ヒンチン公式

式(2.34)と式(2.35)は互いにフーリエ変換とその逆変換の関係にあります。これらをウィーナ・ヒンチン公式と呼びます。

関数$S(\lambda)$は式(2.33)から実数で非負であり、また相関関数$\psi(\tau)$は$\tau$に対して偶関数であるので、ウィーナ・ヒンチン公式は以下のようにも書くことができます。以下の式から$S(\lambda)$も偶関数であることがわかります。

$$\left. \begin{aligned} S(\lambda) = 2 \int_{0}^{\infty} \psi(\tau)cos \lambda\tau d\tau\\ \psi(\tau) = \frac{1}{\pi} \int_{0}^{\infty} S(\lambda) cos\lambda\tau d\tau \end{aligned} \right\} \tag{2.36}$$

式(2.35)によって計算されるパワースペクトル密度$S(\lambda)$を調べることによって、確率過程がどのような周波数成分を含んでいるかを調べることができます。

式(2.36)はどちらも$cos \lambda \tau$をかけているけど、どちらか片方が$sin$ではないのかな？　ろ思いつつ、今は公式をそのまま受け入れることにします。

相互パワースペクトル密度関数

弱定常スカラー確率過程$x(t)$と$y(t)$の相互相関関数を$r_{xy}(\tau)$とするとき、相互パワースペクトル密度関数$S_{xy}(\lambda)$は以下のようになります。

$$S_{xy}(\lambda) = \int_{-\infty}^{\infty} r_{xy}(\tau)e^{-j\lambda\tau} d\tau \tag{2.37}$$

この関数は一般に複素関数で、$r_{xy}(\tau) = r_{yx}(-\tau)$であることを考えると以下の式が成立します。

$$S_{xy}(\lambda) = S^{*}_{yx} (\lambda) \tag{2.38}$$

式(2.8)で出てきた相互相関関数は、ベクトル確率過程同士の相関関数なので行列の各要素が$t$の関数になっていたけれど、$r_{xy}$は弱定常スカラー確率過程の相互相関関数なので、時間差$\tau$を入力するとスカラーを吐き出す関数になっているはず。要素数を意識しないとすぐ混乱してしまうなあ。

ここは教科書に従って定義を受け入れておきます

非定常確率過程のパワースペクトル密度関数

確率過程$\{x(t)\}$が非定常である時、$t_1 = t - \frac{\tau}{2}. t_2 = t + \frac{\tau}{2}$とすれば、$\psi(t, \tau)$は以下のようになります

$$\psi(t, \tau) = \mathcal{E} \left\{ x \left( t - \frac{\tau}{2} \right) x \left(t + \frac{\tau}{2} \right) \right\} \tag{2.39}$$

この$\psi(t, \tau)$のフーリエ変換をすることで、非定常過程のパワースペクトル密度 (非定常パワースペクトル関数) を得ることができます。

$$S(t, \lambda) = \int_{-\infty}^{\infty} \psi(t, \tau) e^{-j \lambda \tau} d \tau \tag{2.40}$$

いつかこの教科書の中でも非定常過程を扱うのでしょうか？　ドキドキ…。