📔

Botter自主ゼミノート 2.9 ウィーナ過程(1)

2022/11/29に公開約11,200字

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは?, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性
Botter自主ゼミノート 2.6 確率過程の周波数表現
Botter自主ゼミノート 2.7 マルコフ過程
Botter自主ゼミノート 2.8 正規型確率過程

2.9 ウィーナ過程

独立増分を持つ確率過程

確率過程\{x(t)\}が、任意の時間分割0=t_0<t_1<\cdots<t_Nについて、各増分\Delta x(t_0, t_1) = x(t_1)-x(t_0), \Delta x(t_1, t_2) = x(t_2)-x(t_1), \cdots, \Delta x(t_{N-1}, t_N) = x(t_N)-x(t_{N-1})が互いに独立であるとき、x(t)を独立増分を持つ確率過程 (stochastic process with independent increments) と呼びます。

この過程は、\text{Pr}\{x(0) = 0\} = 1であるならマルコフ過程となります。

また、各増分\Delta x(t_0, t_1), \Delta x(t_1, t_2),\cdots,\Delta(t_{N-1}, t_N)の確率分布が、時間差t_1-t_0, t_2-t_1,\cdots,t_N-t_{N-1}のみに依存する時、x(t)過程は定常独立増分 (stationary independent increments) を持つと言います。

ウィーナ過程の定義

スカラー確率過程\{w(t), t\ge 0\}

  1. 定常独立増分を持つ
  2. 増分w(t) - w(s)は正規分布し、以下の二つの式を満たす。\sigmaは正の定数。
\mathcal{E}\{w(t)-w(s)\} = 0 \tag{2.54}
\mathcal{E}\{[w(t)-w(s)]^2\} = \sigma^2|t-s| \tag{2.55}
  1. \text{Pr}\{w(0)=0\} = 1を満たす

この三つの条件を満たす時、\{w(t), t\ge 0\}はウィーナ過程 (Wiener process) と呼ばれる。特に\sigma^2 = 1の時、標準ウィーナ過程 (standard Wiener process) と呼ばれる。

ウィーナ過程の性質 #1

\mathcal{E}\{w(t)\} = 0 \tag{2.56}
\mathcal{E}\{w(t)w(s)\} = \begin{cases} {\sigma^2t\quad(t \le s)} \\ {\sigma^2s\quad(s \le t)} \end{cases} \tag{2.57}

式(2.56)は式(2.54)にs=0を代入すると、\text{Pr}\{w(0)=0\} = 1から\mathcal{E}\{w(t)-0\} = 0となることから得られる。

式(2.57)はt \le sとすると以下のようにして得られる。

\begin{aligned} \mathcal{E}\{w(t)w(s)\} &= \mathcal{E}\{w(t)[w(s)-w(t)+w(t)]\} \\ &= \mathcal{E}\{w(t)[w(s)-w(t))]\} + \mathcal{E}\{w^2(t)\} \\ &= \mathcal{E}\{[w(t)-w(0)][w(s)-w(t)]\} + \mathcal{E}\{w^2(t)\} \\ &= \mathcal{E}\{[w(t)-w(0)]\} \cdot \mathcal{E}\{[w(s)-w(t)]\} + \mathcal{E}\{w^2(t)\} \\ &= 0 \cdot 0 + \mathcal{E}\{[w(t)-w(0)]^2\} \\ &= \sigma^2t \end{aligned}

ウィーナ過程の性質 #2

w(t)過程の(一次の)確率密度関数は\mathcal{E}\{w(t)\} = 0, \mathcal{E}\{[w(t) - \mathcal{E}\{w(t)\}]^\} = \sigma^2tであるから、式(2.48)から…。

p(t,w) = \frac{1}{\sqrt{2\pi t}\sigma}\exp\left(-\frac{w^2}{2\sigma^2 t}\right) \tag{2.58}

以上のようになる。(t=0のときこれはディラックのデルタ関数\delta(w)となる)

式(2.58)はtを式の中に含むため、w(t)過程は非定常正規型過程(nonstationary Gaussian process)となります。

また、0=t_0 < t_1 < t_2 < \cdots <t_Nとすると、N次の結合確率密度関数は以下のように表されます。

p(t_1,w_1; t_2,w_2; \cdots; t_N,w_N) = \prod_{\nu=2}^{N} \frac{1}{\sqrt{2 \pi (t_\nu - t_{\nu-1})}\sigma} \exp\left(-\frac{(w_\nu - w_{\nu-1})^2}{2 \sigma^2 (t_\nu - t_{\nu-1})}\right) \tag{2.59}

ウィーナ過程の性質 #3

ウィーナ過程はマルコフ過程です。この説明は教科書の例2.1の証明で明らかなのですが、教科書ではなぜか追加でもう一種類の証明をしています。

\Pr\{w(t_N) \le \alpha | w(t_1), \cdots, w(t_{N-1})\} = \int_{-\infty}^{\alpha} p(t_N, z|t_1, w_1, \cdots, t_{N-1}, w_{N-1})dz

条件付き確率の公式\Pr\{X|Y\}=\frac{\Pr\{X \cap{Y}\}}{\Pr\{Y\}}を使って

= \int_{-\infty}^{\alpha} \frac{p(t_1, w_1;\cdots;t_{N-1},w_{N-1};t_N,z)}{p(t_1, w_1;\cdots;t_{N-1},w_{N-1})}dz

式(2.59)を使って変形すると

\begin{aligned} &= \int_{-\infty}^{\alpha} \frac{\prod_{\nu=2}^{N} \frac{1}{\sqrt{2 \pi (t_\nu - t_{\nu-1})}\sigma} \exp\left(-\frac{(w_\nu - w_{\nu-1})^2}{2 \sigma^2 (t_\nu - t_{\nu-1})}\right)}{\prod_{\nu=2}^{N-1} \frac{1}{\sqrt{2 \pi (t_\nu - t_{\nu-1})}\sigma} \exp\left(-\frac{(w_\nu - w_{\nu-1})^2}{2 \sigma^2 (t_\nu - t_{\nu-1})}\right)}dz\\ &= \int_{-\infty}^{\alpha} \frac{1}{\sqrt{2 \pi (t_N - t_{N-1})}\sigma} \exp\left(-\frac{(w_N - w_{N-1})^2}{2 \sigma^2 (t_N - t_{N-1})}\right)dz \end{aligned}

上式には添字がNN-1の項しか存在しない一次の結合確率密度関数なので…

=\Pr\{w(t_N) \le \alpha | w_{N-1}\}

以上のようになり、w(t)過程はマルコフ過程となります。

ウィーナ過程の性質#2と#3から、ウィーナ過程は分布形状から見ると正規型の分布で、時間的な視点から見ればマルコフ性を持ちます。そのため、ウィーナ過程は正規型マルコフ過程と言えます。

ウィーナ過程の性質 #4

ウィーナ過程はマルチンゲールです。

s<tとするとき、実現値\{w(\tau), 0\le \tau \le s\}の条件の下でのw(t)の平均値は

\begin{aligned} \mathcal{E}\{w(t)|\{w(\tau), 0 \le \tau \le s\}\} &= \mathcal{E}\{w(s) + w(t) - w(s)|\{w(\tau), 0 \le \tau \le s\}\}\\ &= \mathcal{E}\{w(s)\} + \mathcal{E}\{w(t) - w(s)|\{w(\tau), 0 \le \tau \le s\}\} \end{aligned}

w(s)は実現値なので、\mathcal{E}\{w(s)\}=w(s)となり、さらに式(2.54) \mathcal{E}\{w(t)-w(s)\} = 0から…

\begin{aligned} &= w(s) + \mathcal{E}\{w(t) - w(s)|\{w(\tau), 0 \le \tau \le s\}\}\\ &= w(s) + 0\\ &= w(s) \tag{2.61} \end{aligned}

このように、将来の時刻t (>s)における平均値が直前の条件に帰する性質をマルチンゲールといいます。

ウィーナ過程の性質 #5

ウィーナ過程は確率連続です。

確率過程\{x(t), t \in T\}が確率連続であるとは、任意の\epsilon > 0に対して、以下が成り立つことです。

\Pr\{|x(t+h)-x(t)| > \epsilon\} \to 0 (h \to 0) \tag{2.62}

チェビシェフの不等式\Pr\{|z| \ge \epsilon\} \le \frac{\mathcal{E}\{|z|^2\}}{\epsilon^2}と式(2.55)より

\begin{aligned} \Pr\{|w(t+h)-w(t)| > \epsilon\} &\le \frac{1}{\epsilon^2}\mathcal{E}\{|w(t+h)-w(t)|^2\}\\ &= \frac{1}{\epsilon^2}\sigma^2|h| \to 0 (h \to 0) \tag{2.63} \end{aligned}

となり、式(2.62)が成立することを示すことができます。

ウィーナ過程の性質 #6

ウィーナ過程は確率1で連続です。また、自乗平均連続でもあります。

ウィーナ過程の性質 #7

ウィーナ過程はいたるところで微分不可能です。

\epsilonを任意の正の定数とすると、h>0に対して

\Pr\{ |\frac{w(t+h) - w(t)}{h}| > \epsilon \} = \Pr\{|\Delta w(t)| > \epsilon h\} \quad (\Delta w(t) = w(t+h) - w(t)) \\

確率\Prは確率密度関数p(t)を積分したものなので…

\begin{aligned} &= \int_{-\infty}^{- \epsilon h} p(\Delta w)d(\Delta w) + \int_{\epsilon h}^{\infty} p(\Delta w)d(\Delta w) \\ &= 2 \int_{-\infty}^{- \epsilon h} p(\Delta w)d(\Delta w) \\ \end{aligned}

式(2.48)の正規型確率過程の確率密度関数を利用して変形すると

t \begin{aligned} &= 2 \int_{-\infty}^{- \epsilon h} \frac{1}{\sqrt{2 \pi h} \sigma} \exp \left\{ - \frac{(\Delta w)^2}{2\sigma^2h} \right\} d(\Delta w) \end{aligned}]

ここでu=\frac{\Delta w}{\sqrt{h} \sigma} (\Delta w = u \sqrt{h} \sigma) という変数変換をすると、

\begin{aligned} &= 2 \int_{-\infty}^{- \epsilon h \frac{1}{\sqrt{h}\sigma}} \frac{1}{\sqrt{2 \pi h} \sigma} \exp \left\{ - \frac{u^2}{2} \right\} \frac{d(\Delta w)}{d u} du \\ &= 2 \int_{-\infty}^{- \frac{\epsilon \sqrt{h}}{\sigma}} \frac{1}{\sqrt{2 \pi h} \sigma} \exp \left\{ - \frac{u^2}{2} \right\} \sqrt{h} \sigma \space du \\ &= 2 \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{- \frac{\epsilon \sqrt{h}}{\sigma}} \exp \left\{ - \frac{u^2}{2} \right\} du \end{aligned}

ここで\Phi(\xi) = \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{\xi} e^{\frac{-u^2}{2}} duとすると、以下の式(2.64)が出てきます。

\begin{aligned} \Pr\{ |\frac{w(t+h) - w(t)}{h}| > \epsilon \} &= 2 \Phi (\frac{\epsilon}{\sigma}\sqrt{h}) \tag{2.64} \end{aligned}

式(2.64)の左辺にはtがありますが、右辺にはありません。したがって、w(t)過程は\frac{dw(t)}{t}という微分形式を持ちません。

もっと直感的には、ウィーナ過程の定義式のひとつである式(2.55)を見ると、\Delta w = w(t+\Delta t) - w(t)\sqrt{t}のオーダーとなることが分かります。

\mathcal{E}\{[w(t)-w(s)]^2\} = \sigma^2 |t-s| \tag{2.55}

ですので、\frac{\Delta w}{\Delta t} \sim \frac{1}{\sqrt{t}}となり、\Delta t \to 0の時、\frac{\Delta w}{\Delta t} \to \inftyとなりますので、\frac{\Delta w(t)}{\Delta t}は有限確定値を持たないことが分かります。

ウィーナ過程の性質 #8

ウィーナ過程は無相関直交増分を持ちます。

ある一つの確立過程\{ x(t), t \in \}\mathcal{E}\{ |x(t) - x(s)|^2\} < \infty \quad (t, s \in T)でかつs_1 < t_1 \le s2 < t_2とするとき

\mathcal{E}\{ [x(t_2) - x(s_2)] [x(t_1) - x(s_1)]\} = \mathcal{E}\{ x(t_2) = x(s_2)\} \mathcal{E}\{ x(t_1) = x(s_1)\} \tag{2.65}

となるならば、無相関増分 (uncorrelated increments) を持つといいます。

また、

\mathcal{E}\{ [x(t_2) - x(s_2)] [x(t_1) - x(s_1)]\} = 0 \tag{2.66}

ならば、直交増分 (orthogonal increments) を持つと言います。

t_1<t_2<t_3とすると、ウィーナ過程は定常独立増分を持つと定義されているので、積の期待値と期待値の積が一致します。これはウィーナ過程が無相関増分を持つことを示しています。

\mathcal{E}\{[w(t_3)-w(t_2)][w(t_2)-w(t_1)]\} = \mathcal{E}\{[w(t_3)-w(t_2)]\}\mathcal{E}\{[w(t_2)-w(t_1)]\}

ここで、さらにウィーナ過程の定義の式(2.54)から

\begin{aligned} \mathcal{E}\{[w(t_3)-w(t_2)]\} &= 0 \\ \mathcal{E}\{[w(t_2)-w(t_1)]\} &= 0 \\ \end{aligned}

よって
$$
\mathcal{E}{[w(t_3)-w(t_2)]}\mathcal{E}{[w(t_2)-w(t_1)]} = 0
$$

となり、ウィーナ過程は直交増分を持つことがわかります。よって、w(t)過程は無相関直交定常増分を持つことが分かります。

ウィーナ過程の性質 #9

dw(t) = w(t+dt)-w(t)\quad(dt>0)とすると、式(2.54)と式(2.55)は微小増分の形で以下のように表現されます。

\mathcal{E}\{dw(t)\} = 0 \tag{2.67}
\mathcal{E}\{[dw(t)]^2\} = \sigma^2 dt \tag{2.68}

一般的には
$$
\mathcal{E}{[dw(t)]^n} = 0\quad(n = 1, 3, 5, \cdots)
$$

\mathcal{E}\{[dw(t)]^n\} = 1 \cdot 3 \cdot 5 \cdots (n-1)(\sigma \sqrt{dt})^n\quad(n = 2,4,5,\cdots)\tag{2.69}

と表現されます。

ウィーナ過程の性質 #10

w(t)過程は次の性質を持ちます。

\Pr\{\sup_{0 \le s \le t} |w(s)| > \epsilon \} \le \frac{t}{\epsilon^2} \quad (\epsilon > 0)
\lim_{t \to \infty} \frac{1}{t}w(t) = 0
\lim_{t \uparrow \infty} \sup \frac{w(t)}{\sqrt{2t \ln \ln t}} = 1

おわりに

長かった…これでウィーナ過程の定義と、10個の性質をおさらいできました。

読み返してみたら、自分が書いたノートが何を意味しているのか分からなくなっていました。読んでいるうちに忘れてしまう…! もう一回きちんと読み直そう。

次は物理学の世界の定義たちからウィーナ過程が出てくるよ、という話。

Discussion

ログインするとコメントできます