Botter自主ゼミノート 4.6 確率密度関数の時間進化 - コルモゴロフ方程式

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性
Botter自主ゼミノート 2.6 確率過程の周波数表現
Botter自主ゼミノート 2.7 マルコフ過程
Botter自主ゼミノート 2.8 正規型確率過程
Botter自主ゼミノート 2.9 ウィーナ過程(1)
Botter自主ゼミノート 2.9 ウィーナ過程(2)
Botter自主ゼミノート 2.10 白色雑音
Botter自主ゼミノート 3.1, 3.2 確率変数列の収束
Botter自主ゼミノート 3.3 確率過程の連続性
Botter自主ゼミノート 3.4 自乗平均微分
Botter自主ゼミノート 3.5 自乗平均積分
Botter自主ゼミノート 4.1 確率微分方程式とは？
Botter自主ゼミノート 4.2 確率積分
Botter自主ゼミノート 4.2 確率積分 例題4.1
Botter自主ゼミノート 4.3 確率微分方程式
Botter自主ゼミノート 4.4 伊藤の確率微分演算
Botter自主ゼミノート 4.5 拡散過程

4.6 確率密度関数の時間進化 - コルモゴロフ方程式

マルコフ過程の遷移確率密度関数の時間進化

マルコフ拡散過程は、その増分の平均と分散が定義されていて、増分過程が式(4.40)のように与えられることが前節でわかりました。

$$\Delta_h x(t) \simeq m(t, x(t))h + \sigma(t, x(t))\Delta w(t) \tag{4.40}$$

この節には、式(4.40)のような極限の過程として、以下のようなスカラ伊藤確率微分方程式の確率法則について書かれています。($\sigma^2 = 1$としています)

$$dx(t) = f[t, x(t)]dt + g[t,x(t)]dw(t) \tag{4.43}$$

式(4.43)の$x(t, \omega)$はマルコフ過程で、その確率分布を$p(x, t)$、遷移確率分布を$p(s, y; t, x)$で表します。まず、遷移確率密度関数$p(s, y; t, x)$について考えます。$\varphi(x)$を二階微分可能な関数として、積分

$$\int_{-\infty}^{\infty} \varphi(x)p(s,y;t,x)dx$$

の時間進化を求めます。

$\varphi(x)$は任意関数です。なぜこれを遷移確率密度にかけたものの積分の時間進化を求めるのかは…ちょっとわかりません。とにかく読み進めてみます。

$$\begin{aligned} \frac{\partial}{\partial t}\int_{-\infty}^{\infty} \varphi(x)p(s,y;t,x)dx &= \int_{-\infty}^{\infty} \varphi(x)\frac{\partial p(s,y;t,x)}{\partial t}dx \\ &= \lim_{h \to 0} \int_{-\infty}^{\infty} \varphi(x) \frac{1}{h} [p(s,y;t+h,x) - p(s,y,t,x)] dx \tag{4.44}\\ \end{aligned}$$

ここで、式(2.46)で出てきたチャップマン・コルモゴロフ方程式を利用すると式(4.45)が成立するので

$$p(s,y;t+h,x) = \int_{-\infty}^{\infty} p(s,y,t,z)p(t,z;t+h,x) dz \tag{4.45}$$

式(4.44)は以下の式(4.46)のように変形することができます。

$$\begin{aligned} \int_{-\infty}^{\infty} p(s,y,t,z)p(t,z;t+h,x) &= \lim_{h \to 0} \frac{1}{h} \left[ \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \varphi(x) p(s,y;t,z)p(t,z;t+h,x)dzdx - \int_{-\infty}^{\infty} \varphi(x)p(s,y,t,x) dx \right] \\ &= \lim_{h \to 0} \frac{1}{h} \left[ \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \varphi(z) p(s,y;t,x)p(t,x;t+h,z)dxdz - \int_{-\infty}^{\infty} \varphi(x)p(s,y,t,x) dx \right] \\ &= \int_{-\infty}^{\infty} p(s,y;t,x) \lim_{h \to 0} \frac{1}{h} \left[ \int_{-\infty}^{\infty} \varphi(z) p(t,x;t+h,z)dz - \varphi(x) \right] dx \end{aligned}$$

最後の積分が本当に全くわからない。

とツイッターに書いたら、こんな回答をもらいました。厳密にこれをやってよい、ということを理解するのは難しいものの、こういうことができるんだということで読み進めるのが吉の模様。

ここで、$\varphi(z)$を$\varphi(x)$の周りでテイラー展開します。

$$\varphi(z) = \varphi(x) + \varphi'(x)(z-x) + \frac{1}{2}\varphi(x)''(z-x)^2 + o((z-x)^2)$$

テイラー展開した式を利用して式(4.46)の最終項を変形して、以下の式(4.47)を得ます。最終行の変形は$\int_{-\infty}^{\infty} pdz = 1$を利用しています。

$$\begin{aligned} \int_{-\infty}^{\infty} \varphi(z) + p(t,x;t+h,z) dz - \varphi(x) &= \varphi(x)\int_{-\infty}^{\infty} p(t,x,t+h,z)dz + \varphi'(x)\int_{-\infty}^{\infty} (z-x)p(t,x;t+h,z) dz + \frac{1}{2} \varphi''(x) \int_{-\infty}^{\infty} (z-x)^2 p(t,x;t+h,z) dz + \int_{-\infty}^{\infty} o((z-x)^2)p(t,x;t+h,z) dz - \varphi(x) \\ &= \varphi'(x)\int_{-\infty}^{\infty} (z-x)p(t,x;t+h,z) dz + \frac{1}{2} \varphi''(x) \int_{-\infty}^{\infty} (z-x)^2 p(t,x;t+h,z) dz + \int_{-\infty}^{\infty} o((z-x)^2)p(t,x;t+h,z) dz \\ \end{aligned}$$

さらに、式(4.36), 式(4.37)から以下が成立するので、さらに変形を続けます。

$$\begin{aligned} \lim_{h \to 0} \frac{1}{h}\int_{-\infty}^{\infty} (z-x)p(t,x;t+h,z)dz = f(t,x) \\ \lim_{h \to 0} \frac{1}{h}\int_{-\infty}^{\infty} (z-x)^2 p(t,x;t+h,z)dz = g^2(t,x) \\ \lim_{h \to 0} \frac{1}{h}\int_{-\infty}^{\infty} o((z-x)^2) p(t,x;t+h,z)dz = 0 \end{aligned}$$

最終的に、式(4.46)は以下のような形の式(4.48)に変形できます。

$$\begin{aligned} \int_{-\infty}^{\infty} \frac{\partial p(s,y;t,x)}{\partial t}\varphi(x)dx &= \int_{-\infty}^{\infty} p(s,y;t,x) \left[ \varphi'(x)f(t,x) \frac{1}{2}\varphi''(x)g^2(x)\right]dx \\ &= \int_{-\infty}^{\infty} p(s,y;t,x)f(t,x)\varphi'(x) dx + \frac{1}{2}\int_{-\infty}^{\infty} p(s,y;t,x) g^2(x) \varphi''(x) dx \end{aligned}$$

この辺りは普通の変形ですね。

右辺の各項が$x \to \pm \infty$のとき、$p \to 0$になることに留意してそれぞれ部分積分すると以下のようになります。

$$\int_{-\infty}^{\infty} \left[\frac{\partial p}{\partial t} + \frac{\partial (pf)}{\partial x} - \frac{1}{2}\frac{\partial^2(pg^2)}{\partial x^2}\right] \varphi(x) dx = 0 \tag{4.49}$$

ここの積分は…まずは式(4.48)の全てを右辺に集めてみますか。

$$\begin{aligned} 0 &= \int_{-\infty}^{\infty} \frac{\partial p}{\partial t}\varphi(x)dx - \int_{-\infty}^{\infty} p f \varphi'(x) dx - \frac{1}{2}\int_{-\infty}^{\infty} p g^2 \varphi''(x) dx \\ &= \int_{-\infty}^{\infty} \frac{\partial p}{\partial t}\varphi(x)dx - \left[[p f \varphi(x)]_{-\infty}^{\infty} - \int_{-\infty}^{\infty} \frac{\partial(pf)}{\partial x} \varphi(x) dx \right] - \frac{1}{2} \left[[pg^2 \varphi'(x)]_{-\infty}^{\infty} - \int_{-\infty}^{\infty} \frac{\partial (p g^2)}{\partial x} \varphi'(x) dx \right] \\ &= \int_{-\infty}^{\infty} \left[ \frac{\partial p}{\partial t} + \frac{\partial(pf)}{\partial x} \right] \varphi(x) dx + \frac{1}{2} \int_{-\infty}^{\infty} \frac{\partial (p g^2)}{\partial x} \varphi'(x) dx \\ &= \int_{-\infty}^{\infty} \left[ \frac{\partial p}{\partial t} + \frac{\partial(pf)}{\partial x} \right] \varphi(x) dx + \frac{1}{2} \left[ \left[\frac{\partial (p g^2)}{\partial x} \varphi(x)\right]_{-\infty}^{\infty} - \int_{-\infty}^{\infty} \frac{\partial^2 (p g^2)}{\partial x^2} \varphi(x) dx \right] \\ &= \int_{-\infty}^{\infty} \left[ \frac{\partial p}{\partial t} + \frac{\partial(pf)}{\partial x} \right] \varphi(x) dx - \frac{1}{2} \int_{-\infty}^{\infty} \frac{\partial^2 (p g^2)}{\partial x^2} \varphi(x) dx \\ &= \int_{-\infty}^{\infty} \left[ \frac{\partial p}{\partial t} + \frac{\partial(pf)}{\partial x} - \frac{1}{2} \frac{\partial^2 (p g^2)}{\partial x^2} \right] \varphi(x) dx \end{aligned}$$

お、なんかできた。

式(4.49)の$\varphi(x)$は計算を始める前の仮定により任意の関数なので、式(4.49)の大括弧内は常に0でなければなりません。そのため以下の式が成立することがわかります。

$$\frac{\partial p(s,y; t,x)}{\partial t} = - \frac{\partial [p(s,y; t,x)f(t,x)]}{\partial x} + \frac{1}{2}\frac{\partial^2[p(s,y;t,x)g^2(t,x)]}{\partial x^2} \tag{4.50}$$

上式は、式(4.43)の伊藤確率微分方程式で記述されるマルコフ過程の遷移確率密度が時間とともにどのように変化していくかを記述した式です。コルモゴロフの前向き方程式、あるいはフォッカー・プランク方程式と呼びます。

逆に言えば、式(4.50)を満足する遷移確率密度関数を持つマルコフ過程は、式(4.43)で表現される拡散過程となります。なお、式(4.50)の初期条件は以下の式で与えられます。

$$\lim_{t \to s}p(s, y;t, x) = \delta(x-y) \tag{4.51}$$

$t$が経過するにつれて$p$が広がっていきますが、その広がり具合は$x$の微分、二階微分を足し合わせたて作れるということですね。なるほど。

また、

$$p(t,x) = \int_{-\infty}^{\infty} p(s,y; t,x) dy$$

に留意すると、式(4.50)から以下の式が導出できて、一次元確率密度関数$p(t,x)$もコルモゴロフの前向き方程式を満たす事がわかります。

$$\frac{\partial p(t,x)}{\partial t} = - \frac{\partial [p(t,x)f(t,x)]}{\partial x} + \frac{1}{2}\frac{\partial^2[p(t,x)g^2(t,x)]}{\partial x^2} tag{4.55}$$

ベクトル過程式(4.18)に対しては、コルモゴロフの前向き方程式は以下のような形となります。

$$\frac{\partial p}{\partial t} = -\sum_{i=1}^{n} \frac{\partial (pf_i)}{\partial x_i} + \frac{1}{2}\sum_{i,j = 1}^{n}\frac{\partial^2 (p[GQG^T]_{ij}}{\partial x_i \partial x_j} \tag{4.52}$$

この$GQG^T$というやつは慣れないです。

スカラの場合の$g^2$に相当していて、$G$は、$n$次元を持つ$f$の出力に、$m$次元しかない雑音をあわせるためにかける行列。$Q$は$dw$の共分散マトリクス…。

ここで、新しく以下の線形作用素を定義します。

$$\mathcal{L}_x^*(\cdot) := -\sum_{i=1}^{n} \frac{\partial (\cdot f_i)}{\partial x_i} + \frac{1}{2}\sum_{i,j = 1}^{n}\frac{\partial^2 (\cdot [GQG^T]_{ij}}{\partial x_i \partial x_j} \tag{4.53}$$

これを利用して、式(4.52)を書くと以下のように簡潔な表現になります。

$$\frac{\partial p(s,y;t,x)}{\partial t} = \mathcal{L}_x^* p(s,y;t,x) \tag{4.54}$$

コルモゴロフの後ろ向き方程式

遷移確率密度関数$p(s,y;t,x)$は、次のコルモゴロフの後ろ向き方程式も満たし、以下のように表されます。

$$-\frac{\partial p(s,y;t,x)}{\partial s} = \mathcal{L}_x p(s,y;t,x) \tag{4.56}$$

$\mathcal{L}_x$は、式(4.29)で定義される微分生成作用素です。(微分生成要素の部分は、過去のBotter自主ゼミノートでは省略しています)

$$\mathcal{L}_x (\cdot) = \sum_{i=1}^n f_i(t,x)\frac{\partial(\cdot)}{\partial x_i} + \frac{1}{2} \sum_{i,j=1}^{n}[G(t,x)Q(t)G^T(t,x)]_{ij} \frac{\partial^2(\cdot)}{\partial x_i \partial x_j} \tag{4.29}$$

コルモゴロフの後ろ向き方程式の証明

教科書では、コルモゴロフの後ろ向き方程式が成立することの証明もしています。まず、チャップマン・コルモゴロフの方程式より、$(h>0)$の時以下の式が成り立ちます。

$$p(s,y; t,x) = \int_{\infty}^{\infty} p(s,y; s+h,z)p(s+h, z; t,x)dz \tag{4.57}$$

続けて、$p(s+h,z; t,x)$を$(s+h, y)$の周りにテイラー展開して以下の式(4.58)を得ます。

$$p(s+h,z;t,x) = p(s+h,y;t,x) + \frac{\partial p(s+h, y;t,x)}{\partial y}(z-y) + \frac{1}{2}\frac{\partial^2 p(s+h,y;t,x)}{\partial y^2}(z-y)^2 + o((z-y)^2)$$

式(4.57)を式(4.58)を使って書き換えると、以下の式(4.59)を得ます。

$$\begin{aligned} p(s,y;t,x) &= \int_{-\infty}^{\infty} p(s,y;t,x) \left[ p(s+h,y;t,x) + \frac{\partial p(s+h, y;t,x)}{\partial y}(z-y) + \frac{1}{2}\frac{\partial^2 p(s+h,y;t,x)}{\partial y^2}(z-y)^2 + o((z-y)^2) \right] dz \\ &= \int_{-\infty}^{\infty}p(s,y;s+h,z)dz \cdot p(s+h,y;t,x) + \frac{\partial p(s+h, y;t,x)}{\partial y} \int_{-\infty}^{\infty} (z-y) p(s,y;s+h,z)dz + \frac{1}{2}\frac{\partial^2 p(s+h,y;t,x)}{\partial y^2} \int_{-\infty}^{\infty} (z-y)^2 p(s,y;s+h,z)dz + \int_{-\infty}^{\infty} o((z-y)^2) p(s,y;s+h,z)dz \end{aligned}$$

ここで、$\int_{-\infty}^{\infty} p(s,y;s+h,z)dz = 1$であることを右辺第一項に適応し、左辺に移行して、以下の式(4.60)を得ます。

$$\frac{p(s,y;t,x) - p(s+h,y;t,x)}{h} = \frac{\partial p(s+h, y;t,x)}{\partial y} \frac{1}{h} \int_{-\infty}^{\infty} (z-y) p(s,y;s+h,z)dz + \frac{1}{2h}\frac{\partial^2 p(s+h,y;t,x)}{\partial y^2} \int_{-\infty}^{\infty} (z-y)^2 p(s,y;s+h,z)dz + \frac{1}{h} \int_{-\infty}^{\infty} o((z-y)^2) p(s,y;s+h,z)dz$$

ここで、式(4.38)と式(4.39)を積分部分に適応していくと、以下の式(4.60)式を得ることができます。この式(4.60)を$h \to 0$とすると、式(4.56)を得ることができます。

$$\frac{p(s,y;t,x) - p(s+h,y;t,x)}{h} = f(s,y) \frac{\partial p(s+h, y;t,x)}{\partial y} + \frac{1}{2} g^2(s, y) \frac{\partial^2 p(s+h,y;t,x)}{\partial y^2}$$

式(4.60)を作る際に両辺に$\frac{1}{h}$をかけていますが、式(4.38)と式(4.39)を使うことで、右辺の$\frac{1}{h}$が相殺されるところがポイントです。

この後、教科書では具体的にコルモゴロフの前向き方程式を解き、$p(x)$や$p(0, x_0; t, x)$を求めていますが、長大なのでここでは省略します。