やること
https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。
これまでのBotter自主ゼミノート
Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出
Botter自主ゼミノート 2.3 確率モーメント
Botter自主ゼミノート 2.4 確率過程の分類
Botter自主ゼミノート 2.5 エルゴード性
Botter自主ゼミノート 2.6 確率過程の周波数表現
2.7 マルコフ過程
マルコフ性のある確定過程
以下のようなn次元ベクトル(確定)過程を考えてみます。
\.{x}(t) = A(t)x(t), x(t_0) = x_0
この解x(t)は、\Phi(t,s)を\frac{\partial \Phi(t, s)}{\partial t} = A(t)\Phi(t, s), \Phi(s, s) = Iを満たす遷移マトリクスとすれば
x(t) = \Phi(t, t_0)x(t_0)
あるいは
x(t) = \Phi(t, s)x(s)\quad (t_0 \le s < t)
と表現できます。したがって、時刻sにおけるシステムの状態x(s)がわかれば、遷移マトリクス\Phi(t, s)に基づいて時刻tでの値x(t)が決定されることになります。言い換えると、遷移マトリクス\Phi(t,s)がわかれば、どのような過程になるかがすべて把握できることになります。
(スカラー)確率過程におけるマルコフ過程の定義
スカラー確率過程\{x(t), t \in T\}に対して、t_0 < t_1 , \cdots , t_{N-1}において、x(t_0) = x_0, x(t_1) = x_1, \cdots x(t_{N-2}) = x_{N-2}の値を知った時、${x(t_{N-1}) \le x_{N-1}}となる確率がそれまでに経過してきた値によらず
Pr\{x(t_{N-1} \le x_{N-1} | x(t_0) = x_0, \cdots, x(t_{N-2}) = x_{N-2}\} =\\ Pr\{x(t_{N-1}) \le x_{N-1} | x(t_{N-1}) = x_{N-2}\} \tag{2.41}
であるとき、\{x(t)\}をマルコフ過程 (Markov process) といいます。
確率分布関数と確率密度関数で示すと以下のようになります。
F(t_{N-1}, x_{N-1} | t_0, x_0; t_1, x_1; \cdots ;t_{N-2}, x_{N-2}) = F(t_{N-1}, x_{N-1} | t_{N-2}, x_{N-2}) \tag{2.42}
\begin{aligned}
p(t_0, x_0, \cdots, t_{N-1}, x_{N-1}) &= p(t_{N-1}, x_{N-1} | t_0, x_0; t_1, x_1; \cdots; t_{N-2}, x_{N-2})\\
&= p(t_{N-1}, x_{N-1} | t_{N-2}, x_{N-2}) \tag{2.43}
\end{aligned}
式(2.42)と式(2.43)から、マルコフ過程においてはx(t_{N-2}) = x_{N-2}という状態がわかれば、t_{N-1}時刻における確率法則はそれ以前にいかなる経路を経てきたかには無関係に決定されます。
(スカラー)確率過程におけるマルコフ過程の確率法則
マルコフ過程の確率法則の表現がどのようなものになるかを見てみます。
条件付き確率の演算(P(A \cap B) = P(A|B)P(B))と式(2.43)から
\begin{aligned}
p(t_0, x_0; \cdots; t_{N-1}, x_{N-1}) &= p(t_{N-1}, x_{N-1} | t_0, x_0; \cdots; t_{N-2}, x_{N-2}) \cdot p(t_0, x_0; \cdots; t_{N-2}, x_{N-2})\\
&= p(t_{N-1}, x_{N-1}|t_{N-2}, x_{N-2}) \cdot p(t_0, x_0; \cdots; t_{N-2}, x_{N-2})
\end{aligned}
これを繰り返すことで以下の式(2.44)が得られます。
\begin{aligned}
p(t_0, x_0; \cdots; t_{N-1}, x_{N-1})\\
&= p(t_{N-1}, x_{N-1}|t_{N-2}, x_{N-2}) p(t_{N-2}, x_{N-2}|t_{N-3}, x_{N-3}) \cdots p(t_1, x_1|t_0, x_0) \\
&= p(t_0, x_0) \prod_{k = 1}^{N-1} p(t_k, x_k|t_{k-1}, x_{k-1}) \tag{2.44}
\end{aligned}
式(2.44)は、確率過程の経路は確率密度関数p(t_0, x_0)とp(t_k, x_k|t_{k-1}, x_{k-1})によって表現されることを示しています。p(t_k, x_k|t_{k-1}, x_{k-1})を遷移確率密度関数 (transition probability density function) と呼び、x(t_{k-1}) = x_{k-1}という状態が、時刻t_kでx(t_k) = x_kという値を取る確率密度を表します。
このように、マルコフ過程は初期確率密度関数p(t_0, x_0)と、二次の確率密度関数であるp(t, x|s, y)\quad(s < t, y = y(s))によって完全に記述できます。
チャップマン・コルモゴロフ方程式
マルコフ過程に対して成り立つチャップマン・コルモゴロフ方程式は、式(2.44)から導出できます。
t_1 < t_2 < t_3とし、x_1 = x(t_1), x_2 = x(t_2), x_3 = x(t_3)とすると、以下の関係が成り立ちます。
\int_{-\infty}^{\infty} p(t_1,x_1; t_2,x_2; t_3,x_3)dx_2 = p(t_1,x_1;t_3,x_3) \tag{2.45}
左辺はマルコフ過程の性質により以下のように変形できます。
\int_{-\infty}^{\infty} p(t_3,x_3|t_2,x_2) p(t_2,x_2|t_3,x_3)dx_2 = p(t_1,x_1;t_3,x_3)
右辺は条件付き確率の演算規則から以下のように変形できます。
$$
p(t_3,x_3|t_1,x_1)p(t_1,x_1)
$$
以上より、チャップマン・コルモゴロフ方程式 (Chapman-Kolmogorov equation)が導かれます。
p(t_3,x_3|t_1,x_1) = \int_{-\infty}^{\infty} p(t_3,x_3|t_2,x_2)p(t_2,x_2|t_1,x_1)dx_2 \tag{2.46}
この式は、状態(t_1, x_1)から状態(t_3,x_3)に遷移する時には、まず状態(t_1, x_1)から状態(t_2,x_2)に遷移し、さらに状態(t_2, x_2)から状態(t_3,x_3)に遷移するのですが、時刻t_2では区間(-\infty,\infty)のどこかを通過するはずであるから、x_2で積分するということを意味しています。
(教科書ではわかりやすい図2.4が入っています)
例2.1
y_1(\omega), y_2(\omega), \cdotsを互いに独立な確率変数とする時
x(t_k) = \sum_{i=1}^{k} y_i \quad (t_1 < t_2 < \cdots) \tag{2.47}
によって与えられる離散確率過程\{x(t_k), k = 1, 2, \cdots\}はマルコフ過程である。
(教科書内にある例2.1の証明は省略します)
例2.1の証明からわかるとおり、x(t_k)過程が
x(t_k) = x(t_{k-1}) + y_k \quad (k = 2, 3, \cdots)
のように表現される時、その過程はマルコフ過程となります。
Discussion