時系列の自己回帰 AR(1) モデルとブラウン運動を記述する Langevin 方程式の対応

この記事は？

次数1の自己回帰過程 AR(1) は以下のように記述される：

$$yt+1=c+ϕyt+εt+1 y_{t+1} = c + \phi y_t + \varepsilon_{t+1}$$

ただし、誤差項 $εt+1\varepsilon_{t+1}$ は平均値0で分散が一定値の独立同時な正規分布に従うものとする。

本記事では、上記のような AR(1) 過程が、ブラウン運動を記述する際によく用いられる Ornstein-Uhlenbeck 過程を時間について離散化したものとして捉えられることを示す。

Ornstein-Uhlenbeck 過程と Langevin 方程式

ブラウン運動する粒子が液体中で摩擦力 ($−ηv(t)-\eta v(t)$) と不規則な外力 ($ξ(t)\xi(t)$) を受けて動いていると考えると、その運動方程式は以下のように記述することができる：

$$mdv(t)dt=−ηv(t)+ξ(t) m \frac{dv(t)}{dt} = - \eta v(t) + \xi(t)$$

$v(t)v(t)$ はブラウン粒子の速度、$mm$ は質量、$η\eta$ は摩擦係数である。
不規則な外力 $ξ(t)\xi(t)$ は平均値が0でかつ異なる時間で相関を持たないものとして、以下のような性質を持つ（ガウシアン）ホワイトノイズとして考える：

$$<ξ(t)>=0<ξ(t1)ξ(t2)>=σ2δ(t1−t2) \begin{aligned} \left<\xi(t) \right>&=0\\ \left< \xi(t_1)\xi(t_2) \right> &= \sigma^2 \delta(t_1 - t_2) \end{aligned}$$

なお、$δ(t)\delta(t)$ は Dirac のデルタ関数であり、またアンサンブル平均を $<⋅>\left<\cdot \right>$ で表した。

こように不規則外力項をもつ運動方程式を Langevin 方程式と呼び、その中でも上記のように線形な力とホワイトノイズで記述される確率過程を Ornstein-Uhlenbeck 過程（以降、O-U 過程）と呼ぶ。

O-U 過程と AR(1) 過程の対応

先ほどの O-U 過程の Langevin 方程式について、質量 $m=1m = 1$ としたうえで一定外力 $ff$ を加えた以下のようなモデルを考える：

$$dy(t)dt=f−ηy(t)+ξ(t)<ξ(t)>=0,<ξ(t1)ξ(t2)>=σou2δ(t1−t2)(1) \begin{aligned} \frac{dy(t)}{dt} = f - \eta y(t) + \xi(t)\\ \left<\xi(t) \right>=0, \quad \left< \xi(t_1)\xi(t_2) \right> = \sigma^2_{\rm ou} \delta(t_1 - t_2) \tag{1} \end{aligned}$$

以下では、これを刻み幅1で離散化すると AR(1) 過程になることを示す。

O-U 過程の時間発展を離散化する

式(1) の解は以下のように表すことができる：

$$y(t)=y(t0)e−η(t−t0)+fη{1−e−η(t−t0)}+∫t0te−η(t−τ)ξ(τ)dτ y(t) = y(t_0)e^{-\eta (t - t_0)} + \frac{f}{\eta}\left\{1 - e^{-\eta (t - t_0)}\right\} + \int_{t_0}^t e^{-\eta (t - \tau)}\xi(\tau)d\tau$$

導出

不規則外力 $ξ(t)\xi(t)$ がない場合の解を $y~(t)\tilde{y}(t)$ と置くと、以下のように表せる：

$$y~(t)−fη={y(0)−fη}e−η(t−t0) \tilde{y}(t) - \frac{f}{\eta} = \left\{ y(0) - \frac{f}{\eta} \right\} e^{-\eta (t - t_0)}$$

ここで、

$$y(t)−fη=D(t)e−η(t−t0)(2) y(t) - \frac{f}{\eta} = D(t) e^{-\eta (t-t_0)} \tag{2}$$

と置いてLangevin 方程式(1)に代入すると、

$$dD(t)dt=eη(t−t0)ξ(t) \frac{dD(t)}{dt} = e^{\eta (t - t_0)} \xi(t)$$

という関係が成り立つ必要があることがわかる。ただし、$D(0)=y(0)−f/ηD(0) = y(0) - f/ \eta$ である。
これを解くことで、

$$D(t)=y(0)−fη+∫t0te−η(t0−τ)ξ(τ)dτ D(t) = y(0) - \frac{f}{\eta} + \int_{t_0}^t e^{-\eta (t_0 - \tau)} \xi(\tau) d\tau$$

となるので、式(2)に代入することで

$$y(t)=y(t0)e−η(t−t0)+fη{1−e−η(t−t0)}+∫t0te−η(t−τ)ξ(τ)dτ y(t) = y(t_0)e^{-\eta (t - t_0)} + \frac{f}{\eta}\left\{1 - e^{-\eta (t - t_0)}\right\} + \int_{t_0}^t e^{-\eta (t - \tau)}\xi(\tau)d\tau$$

が得られる。

これをもとに、ステップ幅 $Δt\Delta t$ で離散化した場合の時間発展を考える。
上記の解について $t→t+Δt, t0→tt \to t+\Delta t, \, t_0 \to t$ のような置き換えを行うと、以下のように表すことができる：

$$y(t+Δt)=y(t)e−ηΔt+fη(1−e−ηΔt)+∫tt+Δte−η(t+Δt−τ)ξ(τ)dτ y(t+\Delta t) = y(t)e^{-\eta \Delta t} + \frac{f}{\eta}\left(1 - e^{-\eta \Delta t}\right) + \int_t^{t+\Delta t} e^{-\eta (t + \Delta t - \tau)}\xi(\tau)d\tau$$

このとき、

$$Ξtt+Δt=∫tt+Δte−η(t+Δt−τ)ξ(τ)dτ \Xi_{t}^{t+\Delta t} = \int_t^{t+\Delta t} e^{-\eta (t + \Delta t - \tau)}\xi(\tau)d\tau$$

と置くと、$Ξtt+Δt\Xi_{t}^{t+\Delta t}$ は平均0・分散が $σou22η(1−e−2ηΔt)\frac{\sigma_{\rm ou}^2}{2\eta} \left(1 - e^{-2\eta \Delta t} \right)$ の正規分布に従う。

平均・分散の導出

平均

$$<Ξtt+Δt>=∫tt+Δte−η(t+Δt−τ)<ξ(τ)>dτ=0 \begin{aligned} \left<\Xi_{t}^{t+\Delta t}\right> &= \int_t^{t+\Delta t} e^{-\eta (t + \Delta t - \tau)}\left<\xi(\tau)\right>d\tau\\ &= 0 \end{aligned}$$

分散

$$<(Ξtt+Δt)2>=∫tt+Δt∫tt+Δte−η(t+Δt−τ)e−η(t+Δt−υ)<ξ(τ)ξ(υ)>dυdτ=∫tt+Δt∫tt+Δte−η(2t+2Δt−τ−υ)σou2δ(τ−υ)dυdτ=σou2∫tt+Δte−2η(t+Δt−τ)dτ=σou22η(1−e−2ηΔt) \begin{aligned} \left<\left(\Xi_{t}^{t+\Delta t}\right)^2\right> &= \int_t^{t+\Delta t}\int_t^{t+\Delta t} e^{-\eta (t + \Delta t - \tau)}e^{-\eta (t + \Delta t - \upsilon)}\left<\xi(\tau)\xi(\upsilon)\right> d\upsilon d\tau\\ &= \int_t^{t+\Delta t}\int_t^{t+\Delta t} e^{-\eta (2t + 2\Delta t - \tau - \upsilon)}\sigma_{\rm ou}^2 \delta(\tau - \upsilon) d\upsilon d\tau \\ &= \sigma_{\rm ou}^2\int_t^{t+\Delta t} e^{-2\eta (t + \Delta t - \tau)} d\tau\\ &= \frac{\sigma_{\rm ou}^2}{2\eta} \left(1 - e^{-2\eta \Delta t} \right) \end{aligned}$$

AR(1) 過程との対応

先ほどの刻み幅 $Δt\Delta t$ で離散化した時間発展の式において、$Δt=1\Delta t = 1$ のときには以下のようになる：

$$y(t+1)=y(t)e−η+fη(1−e−η)+∫tt+1e−η(t+1−τ)ξ(τ)dτ y(t+1) = y(t)e^{-\eta} + \frac{f}{\eta}\left(1 - e^{-\eta}\right) + \int_t^{t+1} e^{-\eta (t + 1 - \tau)}\xi(\tau)d\tau$$

ここで、

$$y(t)→yte−η→ϕfη(1−e−η)→c∫tt+1e−η(t+1−τ)ξ(τ)dτ→εt+1 \begin{aligned} y(t) &\to y_t\\ e^{-\eta} &\to \phi\\ \frac{f}{\eta}\left(1 - e^{-\eta}\right) &\to c\\ \int_t^{t+1} e^{-\eta (t + 1 - \tau)}\xi(\tau)d\tau &\to \varepsilon_{t+1} \end{aligned}$$

のように置き換えると、AR(1) 過程

$$yt+1=c+ϕyt+εt+1 y_{t+1} = c + \phi y_t + \varepsilon_{t+1}$$

と表すことができる。
なお、誤差項 $εt+1\varepsilon_{t+1}$ は平均0の正規分布 $N(0,σar2)N(0, \sigma^2_{\rm ar})$ に従い、その分散は以下のように元の O-U 過程と対応する：

$$σou22η(1−e−2η)→σar2 \frac{\sigma_{\rm ou}^2}{2\eta}(1 - e^{-2\eta}) \to \sigma^2_{\rm ar}$$

加えて、$εt+1\varepsilon_{t+1}$ は異なる時刻の間で相関を持たず互いに独立である：

$$Cov[εt,εs]=0(t≠s) {\rm Cov}[\varepsilon_t, \varepsilon_s] = 0 \quad (t \ne s)$$

証明

$$Cov[εt,εs]=<∫t−1te−η(t−τ)ξ(τ)dτ∫s−1se−η(s−υ)ξ(υ)dυ>=∫t−1t∫s−1se−η(t−τ)e−η(s−υ)<ξ(τ)ξ(υ)>dυdτ=∫t−1t∫s−1se−η(t−τ)e−η(s−υ)σou2δ(τ−υ)dτdυ \begin{aligned} {\rm Cov}[\varepsilon_t, \varepsilon_s] &= \left< \int_{t-1}^{t} e^{-\eta (t - \tau)}\xi(\tau)d\tau \int_{s-1}^{s} e^{-\eta (s - \upsilon)}\xi(\upsilon)d\upsilon \right>\\ &= \int_{t-1}^{t} \int_{s-1}^{s} e^{-\eta (t - \tau)}e^{-\eta (s - \upsilon)}\left<\xi(\tau)\xi(\upsilon)\right> d\upsilon d\tau\\ &= \int_{t-1}^{t} \int_{s-1}^{s} e^{-\eta (t - \tau)}e^{-\eta (s - \upsilon)}\sigma_{\rm ou}^2\delta(\tau - \upsilon)d\tau d\upsilon \end{aligned}$$

ここで、$t≠st\ne s$ のとき区間 $[t−1,t][t-1, t]$ と $[s−1,s][s-1, s]$ が互いに重なることがないことから、上記の値は必ず $00$ となる。

---

補足すると、$Ξt1t1+Δt\Xi_{t_1}^{t_1+\Delta t}$ に戻って見ても、 $Ξt1t1+Δt\Xi_{t_1}^{t_1+\Delta t}$ と $Ξt2t2+Δt\Xi_{t_2}^{t_2+\Delta t}$ は区間 $[t1,t1+Δt][t_1, t_1 + \Delta t]$ と $[t2,t2+Δt][t_2, t_2 + \Delta t]$ に重なりがあるとき以外は相関を持たない：

$$<Ξt1t1+Δt Ξt2t2+Δt>={σou22η{e−η∣t1−t2∣−e−η(2Δt−∣t1−t2∣)}(∣t1−t2∣≤Δt)0(∣t1−t2∣>Δt) \left<\Xi_{t_1}^{t_1+\Delta t}\,\Xi_{t_2}^{t_2+\Delta t}\right>= \begin{cases} \frac{\sigma_{\rm ou}^2}{2\eta} \left\{e^{-\eta |t_1 - t_2|} - e^{-\eta (2\Delta t - |t_1 - t_2|)} \right\} & (|t_1 - t_2|\le \Delta t)\\ 0 & (|t_1 - t_2|> \Delta t) \end{cases}$$

参考文献

Langevin 方程式と O-U 過程についての詳細は、以下の資料・文献などを参照：

• Langevin equation (Wikipedia)

https://en.wikipedia.org/wiki/Langevin_equation

• Ornstein–Uhlenbeck process (Wikipedia)

https://en.wikipedia.org/wiki/Ornstein–Uhlenbeck_process

• 大住 昇、確率システム入門 (システム制御情報ライブラリー 24、朝倉書店、2002)

https://amzn.asia/d/aVRACrs

• 堀 淳一、ランジュバン方程式（応用数学叢書、岩波書店、1977）

https://amzn.asia/d/bBOLdXw