Botter自主ゼミノート 4.4 伊藤の確率微分演算

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性
Botter自主ゼミノート 2.6 確率過程の周波数表現
Botter自主ゼミノート 2.7 マルコフ過程
Botter自主ゼミノート 2.8 正規型確率過程
Botter自主ゼミノート 2.9 ウィーナ過程(1)
Botter自主ゼミノート 2.9 ウィーナ過程(2)
Botter自主ゼミノート 2.10 白色雑音
Botter自主ゼミノート 3.1, 3.2 確率変数列の収束
Botter自主ゼミノート 3.3 確率過程の連続性
Botter自主ゼミノート 3.4 自乗平均微分
Botter自主ゼミノート 3.5 自乗平均積分
Botter自主ゼミノート 4.1 確率微分方程式とは？
Botter自主ゼミノート 4.2 確率積分
Botter自主ゼミノート 4.2 確率積分 例題4.1
Botter自主ゼミノート 4.3 確率微分方程式

4.4 伊藤の確率微分演算

この節は全体的に分からないところが多すぎるので、いったん深堀りするのはやめておいて、以下の公式(4.28)とその使い方をイメージできるようにしておいて、先に進むことにします。

$V(t, x)$は$\{x(t, \omega)\}$が式(4.18)の解であるとき、それによって構成されるスカラ関数です。$Q(t)dt = \mathcal{E}\{(dw)(dw)^T\}$($w(t)$過程の共分散マトリクス)です。

以下の式(4.28)は汎関数$V(t, x)$の確率微分と言います。また、これを伊藤の公式、あるいは伊藤の連鎖則と呼びます。

$$dV(t, x) = \left[ \frac{\partial V(t, x)}{\partial t} + \left( \frac{\partial V(t, x)}{\partial x} \right)^T f(t, x) \\ + \frac{1}{2} \text{tr}\left\{ \frac{\partial}{\partial x} \left( \frac{\partial V(t, x)}{\partial x} \right)^T G(t, x)Q(t)G^T(t, x) \right\} \right] dt \\ + \left( \frac{\partial V(t, x)}{\partial x}\right)^T G(t, x)dw(t)$$

ここで

$$\frac{\partial V}{\partial x} = \left[ \frac{\partial V}{\partial x_1}, \cdots, \frac{\partial V}{\partial x_n} \right]^T$$

はグラジエント行列で

$$\frac{\partial}{\partial x} \left( \frac{\partial V}{\partial x} \right)^T = \left[\frac{\partial^2 V}{\partial x_i \partial x_j} \right]_{i,j = 1,2,\cdots,n}$$

はヘシアン行列です。

式(4.28)は、通常の微分演算で得られる結果とは異なり、ウィーナ過程の増分の二乗が$dt$のオーダーとなることから、右辺第一項のカッコ内の第三項が現れることに注意しなければいけません。

ここで、確率過程(4.18)式に対する微分生成作用素を以下の式(4.29)のように定義します。

$$\begin{aligned} \mathcal{L}_x(\cdot) := \left(\frac{\partial(\cdot)}{\partial x}\right)f(t,x) + \frac{1}{2}\text{tr}\left\{\frac{\partial}{\partial x} \left( \frac{\partial (\cdot)}{\partial x} \right)^T G(t,x)Q(t)G^T(t,x) \right\} \\ = \sum_{i=1}^n f_i(t,x)\frac{\partial(\cdot)}{\partial x_i} + \frac{1}{2} \sum_{i,j=1}^n [G(t,x)Q(t)G^T(t,x)]_{ij} \frac{\partial^2(\cdot)}{\partial x_i \partial x_j} \end{aligned}$$

この微分生成作用素$\mathcal{L}_x$を利用して式(4.28)を書き換えると以下のようになります。

$$dV(t,x) = \left[ \frac{\partial V(t,x)}{\partial t} + \mathcal{L}_x V(t,x)\right]dt + \left( \frac{\partial V(t,x)}{\partial x} \right)^T G(t,x)dw(t) \tag{4.30}$$

例題 4.2

スカラウィーナ過程$w(t)$について、以下のような積分を計算してみるそうです。

$$\int_{t_0}^{t} w^n(\tau) dw(\tau) \quad (n: 正整数)$$

まずいきなり$dx(t) = dw(t)$と考えるそうです。なぜ？　まあとりあえずやってみます。

式(4.18)で示される伊藤確率微分方程式が$dx(t) = dw(t)$になるということなので、$f(t, x) = 0$, $G(t, x) = 1$になりそうです。雑音だけ残る感じですね。

$$dx(t, \omega) = f[t, x(t, \omega)] dt + G[t, x(t, \omega)]dw(t, \omega) \tag{4.18}$$

さらに、$\mathcal{E}\{(dw)^2\} = \sigma^2 dt$と考えるそうです。これも理由はよく分かりませんがやってみます。

これは式(2.57)の$w^2(t) = \sigma^2 t$から来ているのかな？

すると、式(4.28)は以下のようになるそうです。

$$dV(w) = \frac{1}{2}\sigma^2V_{ww}(w)dt + V_w(w)dw$$

えーと、まず$f(t, x) = 0$と$G(t, x) = G^T(t, x) = 1$をつかって式(4.28)をシンプルにして…。

$$dV(t, x) = \left[ \frac{\partial V(t, x)}{\partial t} + \frac{1}{2} \text{tr}\left\{ \frac{\partial}{\partial x} \left( \frac{\partial V(t, x)}{\partial x} \right)^T Q(t) \right\} \right] dt + \left( \frac{\partial V(t, x)}{\partial x}\right)^T dw(t)$$

さらに、この例題ではスカラ関数が積分の対象なのでトレースや転置記号はいらないので…。

$$dV(t, x) = \left[ \frac{\partial V(t, x)}{\partial t} + \frac{1}{2} \frac{\partial}{\partial x} \left( \frac{\partial V(t, x)}{\partial x} \right) Q(t) \right] dt + \left( \frac{\partial V(t, x)}{\partial x}\right) dw(t)$$

大かっこをばらして…。

$$dV(t, x) = \frac{\partial V(t, x)}{\partial t}dt + \frac{1}{2} \frac{\partial}{\partial x} \left( \frac{\partial V(t, x)}{\partial x} \right) Q(t)dt + \left( \frac{\partial V(t, x)}{\partial x}\right) dw(t)$$

$Q(t)dt = \mathcal{E}\{(dw)^2)\} = \sigma^2 dt$という変形をして…。

$$dV(t, x) = \frac{\partial V(t, x)}{\partial t}dt + \frac{1}{2} \sigma^2 \frac{\partial}{\partial x} \left( \frac{\partial V(t, x)}{\partial x} \right) dt + \left( \frac{\partial V(t, x)}{\partial x}\right) dw(t)$$

右辺第一項は$V(t, x)$は$t$で一階微分可能なのに2回微分しているので消えてしまい…(たぶん)

$$dV(t, x) = \frac{1}{2} \sigma^2 \frac{\partial}{\partial x} \left( \frac{\partial V(t, x)}{\partial x} \right) dt + \left( \frac{\partial V(t, x)}{\partial x}\right) dw(t)$$

最後に$dx(t) = dw(t)$から$x$を$w$で置き換えれば、上で出てきた変形結果と同じになりました。よかったよかった。

ここで、得られた式を$t_0$から$t$まで積分するそうです。なぜかはよくわかりません。

$$V(w_t)=V(w_0)+\frac{1}{2}\sigma^2 \int_{t_0}^t V_{ww}(w_\tau)d\tau + \int_{t_0}^t V_w(w_\tau)dw_\tau$$

ここで、$V(w) = \frac{w^{n+1}}{(n+1)}$と置くそうです。すると、魔法のように$V_w(w)=w^n, V_{ww}(w) = nw^{n-1}$となります。これをシュッと上式に代入すると…。

$$\begin{aligned} \frac{w_t^{n+1}}{n+1} &= \frac{w_0^{n+1}}{n+1} + \frac{1}{2}\sigma^2 \int_{t_0}^t nw_\tau^{n-1}d\tau + \int_{t_0}^t w_\tau^n dw_\tau \\ -\int_{t_0}^t w_\tau^n dw_\tau &= \frac{w_0^{n+1}}{n+1} - \frac{w_t^{n+1}}{n+1} + \frac{1}{2}\sigma^2 \int_{t_0}^t nw_\tau^{n-1}d\tau \\ \int_{t_0}^t w_\tau^n dw_\tau &= \frac{1}{n+1} (w_t^{n+1} - w_0^{n+1}) + \frac{n}{2}\sigma^2 \int_{t_0}^t w_\tau^{n-1}d\tau \end{aligned}$$

なんと左辺がもともとの問題と同じ形に！

$$\int_{t_0}^{t} w^n(\tau) dw(\tau) \quad (n: 正整数)$$

うーんここまではいいし、$n=1$の時は答えもあってるけど、$n=2$の時の答えや下の式(4.32)の一般的な場合の解がどう出てきたのかはさっぱり分からない。

$\int w_{\tau}^n d\tau$はウィーナ過程の時間方向への積分だけど、これが$n$の値によって複雑な形になるということなんだろうか。この一連の処理を自分でできるか？　と言われるとどうだろう…と言う感じ。

$$\int_{t_0}^{t} w_{\tau}^n dw_\tau = \frac{1}{n+1}(w_t^{n+1} - w_0^{n+1}) + \sum_{k=2}^n(-1)^n-k+1 \left(\frac{n!}{k!}\right) \left(\frac{\sigma^2}{2}\right)^{n-k+1}(w_t^k-w_0^k)+(=1)^n n! \left(\frac{\sigma^2}{2}\right)^n (t-t_0)$$

例題 4.3

以下のスカラ微分方程式の解を求めるそうです。例によって$\mathcal{E}\{(dw)^2\} = \sigma^2 dt$とします。

$$dx(t) = ax(t)+bx(t)dw(t), \quad x(t_0) = x_0 \tag{4.33}$$

上式から、まず$G[t, x(t, \omega)] = bx(t)$であることが分かります。

まず、$V(x) = \ln(x)$と置くそうです。伊藤の公式を使うときは$V(x)$を後々使いやすいような値にするのがポイントなのかな？

すると、$\frac{\partial V}{\partial t} = 0, \frac{\partial V}{\partial x} = \frac{1}{x}, \frac{\partial^2 V}{\partial x^2} = -\frac{1}{x^2}$となるので、これらを伊藤の公式に代入します。$Qdt = \mathcal{E}\{(dw)^2\} = \sigma^2 dt$もあわせて使います。今回もスカラを扱っているのでトレースの計算や転置は必要ありません。

式(4.28)に代入するより、その前の式に代入した方がすんなり以降の結果が得られる気がしました。

$$\begin{aligned} d[\ln(x)] &= 0 + \frac{1}{x}f(t, x) + \frac{1}{2} \left(-\frac{1}{x^2}\right)GQGdt \\ &= \frac{1}{x}(axdt + bxdw) - \frac{1}{2x^2} b^2x^2 \sigma^2 dt\\ &= adt + bdw - \frac{1}{2} b^2 \sigma^2 dt \\ &= \left(a - \frac{1}{2} b^2 \sigma^2\right)dt + bdw \end{aligned}$$

これを$t_0$から$t$の区間で積分します。

$$\begin{aligned} \int_{t_0}^t d[ln(x)] &= \int_{t_0}^{t} \left(a - \frac{1}{2} b^2 \sigma^2\right)dt + \int_{t_0}^{t}bdw \\ \ln(x_t) - \ln(x_0) &= \int_{t_0}^{t} \left(a - \frac{1}{2} b^2 \sigma^2\right)dt + \int_{t_0}^{t}bdw \\ \ln(x_t) &= \ln(x_0) + \int_{t_0}^{t} \left(a - \frac{1}{2} b^2 \sigma^2\right)dt + \int_{t_0}^{t}bdw \\ \ln(x_t) &= \ln(x_0) + \left(a - \frac{1}{2} b^2 \sigma^2\right)(t - t_0) + b[w_t - w_{t_0}] \\ x_t &= \exp\left(\ln(x_0) + \left(a - \frac{1}{2} b^2 \sigma^2\right)(t - t_0) + b[w_t - w_{t_0}\right) \\ x_t &= x_0 \exp\left(\left(a - \frac{1}{2} b^2 \sigma^2\right)(t - t_0) + b[w_t - w_{t_0}]\right) \\ \end{aligned}$$

最終的に、最後の行の式(4.34)が解となります。式(4.33)で表される過程を金融工学ではブラック・ショールズ過程と呼び、株価の変動を表すモデルとして用いられるそうです。詳しくは教科書のエピローグDで触れられます。

こっちは例題4.2に比べるとまだマシな感じがしました。突然ブラック・ショールズ過程なんてよく聞く名前が出てきたのでびっくり。