Botter自主ゼミノート 2.8 正規型確率過程

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性
Botter自主ゼミノート 2.6 確率過程の周波数表現
Botter自主ゼミノート 2.7 マルコフ過程

2.8 正規型確率過程

正規型確率変数の定義

スカラー確率変数$\{z(\omega), \omega \in \Omega\}$に対して、その確率密度関数$p(z)$が以下のように指数関数で与えられるとき、その確率変数を正規型あるいはガウス型 (normal, Gaussian) 確率変数と呼びます。

$$p(z) = \frac{1}{\sqrt{2\pi}\sigma_z} \exp \left\{ - \frac{(z-m_z)^2}{2 \sigma_z^2} \right\} \quad (-\infty < z < \infty) \tag{2.48}$$

ただし、$m_z = \mathcal{E}\{z(\omega)\}, \sigma_m^2 = \mathcal{E}\{[z(\omega) - m_z]^2\}$です。

ここは定義なので、素直に教科書に書かれていることをそのまま覚えておくことにします。

正規型確率変数とその特性関数

確率密度関数$p(z)$をフーリエ変換したスカラー量$\varphi(\mu)$を、正規型確率変数に対する特性関数 (characteristic function) と呼ぶ。($\mu$は2.5節で説明されたフーリエ変数)

$$\begin{aligned} \varphi_z(\mu) &= \int_{-\infty}^{\infty} \exp \{ j\mu z \}p(z) dz \\ &= \mathcal{E}\{ \exp \{ j\mu z\} \} \quad (j = \sqrt{-1}) \\ &= \exp \left\{ j\mu m_z - \frac{1}{2} \mu^2 \sigma_z^2 \right\} \tag{2.49} \end{aligned}$$

唐突な式変形なので、一応確認しておきます。いまさら先生に聞けない数学を参考にしました。

$$\begin{aligned} \varphi_z(\mu) &= \int_{-\infty}^{\infty} \exp \{ j\mu z \} p(z) dz \\ &= \int_{-\infty}^{\infty} \exp \{ j\mu z \} \frac{1}{\sqrt{2\pi}\sigma_z} \exp \left\{ - \frac{(z-m_z)^2}{2 \sigma_z^2} \right\} dz \\ &= \frac{1}{\sqrt{2\pi}\sigma_z} \int_{-\infty}^{\infty} \exp \left\{ j\mu z - \frac{(z-m_z)^2}{2 \sigma_z^2} \right\} dz \\ &= \frac{1}{\sqrt{2\pi}\sigma_z} \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} z^2 + \left( j\mu + \frac{m_z}{\sigma_z^2} \right) z - \frac{m_z^2}{2 \sigma_z^2} \right\} dz \end{aligned}$$

ここで$\exp$の中を$z$に対して平方完成します。自分は平方完成に慣れていないので、その手順も書いてみます。

$$\begin{aligned} y(x) &= a x^2 + b x + c \\ &= a\left( x + \frac{b}{2a} \right)^2 - \frac{b^2}{4a} + c \end{aligned}$$

上式と見比べると

$$\begin{aligned} a &= -\frac{1}{2 \sigma_z^2} \\ b &= j\mu + \frac{m_z}{\sigma_z^2}\\ c &= -\frac{m_z^2}{2\sigma_z^2} \end{aligned}$$

なので…

$$\begin{aligned} \varphi_z(\mu) &= \frac{1}{\sqrt{2\pi}\sigma_z} \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} \left( z + (-\sigma_z^2)\left(j\mu + \frac{m_z}{\sigma_z^2}\right) \right)^2 - \left(- \frac{1}{2} \sigma_z^2 \right) \left(j^2\mu^2 + \frac{m_z^2}{\sigma_z^4} + 2j\mu\frac{m_z}{\sigma_z^2}\right) + \frac{m_z^2}{2\sigma_z^2} \right\} dz \\ &= \frac{1}{\sqrt{2\pi}\sigma_z} \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} \left( z -j\mu\sigma_z^2 -m_z \right)^2 + \frac{1}{2} j^2 \mu^2 \sigma_z^2 - \frac{m_z^2}{2\sigma_z^2} + j\mu m_z + \frac{m_z^2}{2\sigma_z^2} \right\} dz \\ &= \frac{1}{\sqrt{2\pi}\sigma_z} \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} \left( z -j\mu\sigma_z^2 -m_z \right)^2 + \frac{1}{2} j^2 \mu^2 \sigma_z^2 + j\mu m_z\right\} dz \\ &= \frac{1}{\sqrt{2\pi}\sigma_z} \exp\left(\frac{1}{2} j^2 \mu^2 \sigma_z^2 + j\mu m_z \right) \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} \left( z -j\mu\sigma_z^2 -m_z \right)^2 \right\} dz \\ &= \frac{1}{\sqrt{2\pi}\sigma_z} \exp\left(j\mu m_z - \frac{1}{2} \mu^2 \sigma_z^2 \right) \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} \left( z -j\mu\sigma_z^2 -m_z \right)^2 \right\} dz \\ \end{aligned}$$

ここで、$u = z -j\mu\sigma_z^2 -m_z$として置換積分すると、上式の積分部分は以下のようになります。

$$\begin{aligned} \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} \left( z -j\mu\sigma_z^2 -m_z \right)^2 \right\} dz &= \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2}u^2 \right\} du \end{aligned}$$

ここで以下のガウス積分の公式を使います。

$$\int_{-\infty}^{\infty} e^{-ax^2} dx = \sqrt{\frac{\pi}{a}}$$

ガウス積分の公式をつかって、$u$の積分部分を解くと…

$$\begin{aligned} \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2}u^2 \right\} du &= \sqrt{2\sigma_z^2 \pi} \\ &= \sqrt{2\pi}\sigma_z \end{aligned}$$

積分部分が単純化できたので、$\varphi(\mu)$の計算に戻ると…

$$\begin{aligned} \varphi_z(\mu) &= \frac{1}{\sqrt{2\pi}\sigma_z} \exp\left(j\mu m_z - \frac{1}{2} \mu^2 \sigma_z^2 \right) \int_{-\infty}^{\infty} \exp \left\{ -\frac{1}{2 \sigma_z^2} \left( z -j\mu\sigma_z^2 -m_z \right)^2 \right\} dz \\ &= \frac{1}{\sqrt{2\pi}\sigma_z} \exp\left(j\mu m_z - \frac{1}{2} \mu^2 \sigma_z^2 \right) \sqrt{2\pi}\sigma_z \\ &= \exp\left(j\mu m_z - \frac{1}{2} \mu^2 \sigma_z^2 \right) \end{aligned}$$

ということで式(2.49)が出てきました。よかったよかった。

正規型確率過程

$\{x(t), t\in T\}$をスカラー確率過程とするとき、任意の$\{t_1, t_2 \cdots, t_N\} \subset T$に対して、$N$個の確率変数$x(t_1), \cdots, x(t_N)$の同時確率密度仮数が以下の式で与えられるとき、$x(t)$は結合正規分布する (jointly normally distributed) といい、これを正規型確率過程 (Gausiaan stochastic process) という。

$$p(t_1, x_1; \cdots; t_N, x_N) = (2\pi)^{-\frac{N}{2}} |R|^{-\frac{1}{2}} \exp \left\{ \frac{1}{2} (x-m)^T R^{-1} (x-m) \right\} \tag{2.50}$$

ただし、各種の変数は以下のように定められるものとします。

$$\begin{aligned} x &= [x_1, \cdots, x_N]^T \\ m &= [m(t_1),\cdots,m(t_N)]^T = [\mathcal{E}\{x(t_1)\}, \cdots, \mathcal{E}\{x(t_N)\}]^T \end{aligned}$$

さらに、$R$は$N \times N$マトリクスで、その要素$R_{ki}$は以下のような値とします。また、$|R|$は$R$の行列式とします。

$$R_{ki} = \mathcal{E}\{[x(t_k) - m(t_k)] \cdot [x(t_i)-m(t_i)]\}$$

このとき、$p(t_1, x_1; \cdots; t_N, x_N)$の特性関数$\varphi(t_1, \mu_1; \cdots; t_N, \mu_N)$は以下のように与えられます。

$$\varphi(t_1, \mu_1; \cdots; t_N, \mu_N) = \exp\left\{ j\mu^T m - \frac{1}{2}\mu^T R \mu \right\} \tag{2.51}$$

ただし、$\mu := [\mu_1, \cdots, \mu_N]^T$とします。

ここでは、直前の節とは微妙に違って、各時点$t_1, \cdots, t_N$で、ひとつの確率過程が$x_1, \cdots, x_N$に上から押さえつけられる場合の話をしています。

$R$は2.3節で出てきた自己共分散マトリクスのことですかね。

後々都合が良くなるようにうまく工夫された定義に見えますが、どう役立つのかはまだわかりません。前節の正規型確率変数の特性によく似ているけど、何段階かのジャンプを省略して定義がされているなあ。

$n$次元ベクトル正規型確率過程

$n$次元ベクトル正規型確率過程$\{x(t)\}$の(1次の結合)確率密度関数$p(t, x)$は、次のように与えられます。

$$p(t, x) = (2\pi)^{-\frac{n}{2}} |P(t)|^{-\frac{1}{2}} \cdot \exp \left\{-\frac{1}{2} [x-m(t)]^T P^{-1}(t) [x-m(t)] \right\} \tag{2.52}$$

ただし、各種の変数は以下のように定められるものとします。

$$\begin{aligned} x &= [x_1, \cdots, x_n]^T \\ m &=[\mathcal{E}\{x_1(t)\},\cdots, \mathcal{E}\{x_N(t)\}]^T \\ P(t) &= \mathcal{E}\{[x(t) - m(t)][x(t) - m(t)]^T\} \end{aligned}$$

$p(t,x)$の特性関数は、式(2.51)に対応して以下のように与えられます。

$$\varphi(t,\mu) = \exp \left\{ j\mu^T m(t) - \frac{1}{2}\mu^T P(t)\mu \right\} \tag{2.53}$$

式(2.49)から式(2.53)からわかるとおり、正規型確率変数と正規型確率過程は、一次と二次の確率モーメントだけで、その密度関数と特性関数を記述することができます。この性質が後々役立ちます。

案の定、前節で定義した一つの正規型確率過程を$n$個束ねた$n$次元ベクトル正規型確率過程の話が出てきました。

式(2.52)と式(2.53)の$x$と$\mu$はそれぞれ$n$次元であることを、油断すると忘れてしまいます。

この節の式は教科書に与えられた定義なので受け入れて先に進みますが、式(2.50)がなぜこういう形を選んだのか、式(2.51)から式(2.53)はどう計算してこうなったのか、正直言って気になります。ただ、自分で全部を導出できるかというとちょっと無理そう…。