Botter自主ゼミノート 2.3 確率モーメント

やること

https://www.amazon.co.jp/dp/4254209444
を読んで、確率微分方程式による最適化問題を解けるようになることです。

これまでのBotter自主ゼミノート

Botter自主ゼミノート 1.2 確定システムの制御の回顧
Botter自主ゼミノート 2.1 確率過程とは？, 2.2 確率過程の数学的表現
Botter自主ゼミノート 1.2 数式導出

2.3 確率モーメント

$n$次元ベクトル確率過程の平均値 (mean) あるいは一次モーメント

• $m_x(t) := \int_{R^N} x p(t, x)dx = \mathcal{E}\{x(t)\}$で表されます
• $\mathcal{E}$は期待値演算子 (expectation operator) と呼ばれます
• $\{x(t, \omega)\}$は$n$次元ベクトル確率過程です
• $p(t, x) (=p(t;x_1, \cdots, x_n))$は時刻$t$における$n$個の確率変数$\{x_1(t), \cdots, x_n(t)\}$の結合確率密度関数です。$p(t, x)$はをベクトルを返します
• $m_{x_i}(t):=\mathcal{E}\{x_i(t)\}$とすれば、$m_x(t)$は以下のような縦ベクトルとなります

$$m_x(t) = \begin{bmatrix} m_{x1}(t) \\ \vdots \\ m_{xn}(t) \\ \end{bmatrix}$$

メモ

• $\int_{R^n}$というのは、多分$n$次元ベクトルそれぞれの要素について積分してるということなんだろう
• $m_{x_n}(t)$はスカラー、$m_{x}(t)$はベクトル

確率過程$x(t)$と$y(t)$の相互共分散マトリクス (cross-covariance matrix)

• 2時点$t,\tau$に対して、$R_{xy}(t, \tau) := \mathcal{E}\{ [x(t) - m_x(t)][y(\tau)-m_y(\tau)]^T\}$で表されます
• より具体的な計算は次のようになります $R_{xy}(t, \tau) := \int_{R^n} \int_{R^n} [x - m_x(t)][y - m_y(t)]^T p(t, x; \tau, y) dx dy$
• $x(t)$と$y(t)$はどちらも$n$次元ベクトル確率過程です
• $r_{xy_{ij}}(t, \tau) := \mathcal{E}\{[x_{i}(t) - m_{x_i}(t)][y_{i}(t) - m_{y_i}(t)]^T\}$とすれば、$R_{xy}(t, \tau)$は以下のような$n \times n$行列となります。

$$R_{xy}(t, \tau) = \begin{bmatrix} r_{xy_{11}}(t, \tau) & \cdots & r_{xy_{1n}}(t, \tau) \\ \vdots & & \vdots \\ r_{xy_{n1}}(t, \tau) & \cdots & r_{xy_{nn}}(t, \tau) \\ \end{bmatrix}$$

メモ

• イメージをつかむために、$r_{xy_{ij}}(t, \tau) := \mathcal{E}\{[x_{i}(t) - m_{x_i}(t)][y_{i}(t) - m_{y_i}(t)]^T\}$の計算を一要素分だけやってみよう

$$\begin{aligned} r_{xy_{11}}(t, \tau) &= \mathcal{E}\{(x_{1}(t) - m_{x_1}(t))(y_{1}(\tau) - m_{y_1}(\tau))\} \\ &= \mathcal{E}\{x_{1}(t)y_{1}(\tau)\} - m_{y_1}(\tau)\mathcal{E}\{x_{1}(t)\} - m_{x_1}(t)\mathcal{E}\{y_{1}(\tau)\} + m_{x_1}(t)m_{y_1}(\tau) \\ &= \mathcal{E}\{x_{1}(t)y_{1}(\tau)\} - m_{y_1}(\tau)m_{x_1}(t) - m_{x_1}(t)m_{y_1}(\tau) + m_{x_1}(t)m_{y_1}(\tau) \\ &= \mathcal{E}\{x_{1}(t)y_{1}(\tau)\} - m_{x_1}(t)m_{y_1}(\tau)\\ &= \int_{R} \int_{R} x_{1}(t)y_{1}(\tau) p(t, x;\tau, y) dx_1 dy_1 - m_{x_1}(t)m_{y_1}(\tau) \end{aligned}$$

確率過程$x(t)$の自己共分散マトリクス (auto-covariance matrix)

• 2時点$t,\tau$に対して、$R_{x}(t, \tau) := \mathcal{E}\{ [x(t) - m_x(t)][x(\tau)-m_x(\tau)]^T\}$で表されます

確率過程$x(t)$と$y(t)$の相互相関関数と自己相関関数

• $\Psi_{xy}(t, \tau) := \int_{R^n} \int_{R^n} xy^T p(t, x; \tau, y) dxdy = \mathcal{E}\{x(t)y^T (\tau)\}$で表されます
• $x = y$の時$\Psi_{xy}(t, \tau)$を自己相関関数と呼びます
• $R_{xy}(t, \tau) = \Psi_{xy}(t, \tau) - m_x(t){m_y}^T(\tau)$が明らかに成立します

確率過程の二次モーメント

• $R_{xy}(t, \tau), R_x(t, \tau), \Psi(t, \tau)$を二次モーメントとも呼ぶ。同様にして高次モーメントも定義できる。

確率過程の独立、無相関、直行

二つの確率過程$x(t), y(t)$について

• $p(t,x;\tau,y) = p(t,x)p(\tau,y)$の時、$x(t), y(t)$は互いに独立という
• $\mathcal{E}\{[x(t) - m_x(t)][y(\tau)-m_y(\tau)]^T\} = 0$の時、$x(t), y(t)$は互いに無相関という
• $\mathcal{E}\{x(t)y^T(\tau)\} = 0$の時、$x(t), y(t)$は直交するという
• $x(t), y(t)$が独立ならば無相関だが、その逆は必ずしも成立しない