定義
よく、botterの会話で"定常性"という言葉が出てきますが、これについて深掘って考えてみます。
まず、確率過程を定義します。
確率過程とはラベル付けされた確率変数の列\{x_t\}で定義されます。tはラベル。時系列の話だと、ラベルtは時間を表します。
価格を確率過程でモデル化すると、x_tは時刻tにおける価格を表します。
時系列解析で出てくる定義としては以下のようなものになります。
弱定常性
\begin{align}
\mathbb{E}\left[(x_t - \mu)(x_{t+k}-\mu)\right]=\gamma_k
\end{align}
ここで、\mu=\mathbb{E}[x_t]です。\gamma_kがtによらないとき、弱定常性を満たすと言います。
強定常性
任意のt,kに対して、(x_t, x_{t+1},\dots,x_{t+k})の同時分布が、同一であるとき、強定常性を満たすと言います。
例えば、以下のような確率過程を考えます。
x_{t+1} = x_{t} + \epsilon_{t+1}
ここで\epsilon_{t+1}がホワイトノイズであるとします。 ホワイトノイズとは、
\begin{align}
\mathbb{E}[\epsilon_t]&=0 \\
\mathbb{E}[\epsilon_t \epsilon_s]&=\sigma^2\delta(t-s)
\end{align}
を満たす確率過程です。\delta(t-s)はディラックのデルタ関数です。[不安]
これは弱定常性を満たしている。
これは単位根過程と呼ばれるものです。
単位根過程とはx_tが非定常(弱定常でない)である確率過程であり、かつ、x_tの差分が定常である確率過程です。
上の例でいうと
\begin{align}
E[x_{t}] &= E[\epsilon_{t} + \epsilon_{t-1} + \dots + \epsilon_{1} + x_{0}] = x_0 \nonumber\\
E[x_tx_t] &= E[(\epsilon_{t} + \epsilon_{t-1} + \dots + \epsilon_{1} + x_{0})(\epsilon_{t} + \epsilon_{t-1} + \dots + \epsilon_{1} + x_{0})] \nonumber\\
& = E[\epsilon_{t}^2 + \epsilon_{t-1}^2 + \dots + \epsilon_{1}^2 + x_{0}^2]=\sigma^2t+x_0^2 \nonumber\\
E[x_t\epsilon_{t+1}] &= E[(\epsilon_{t} + \epsilon_{t-1} + \dots + \epsilon_{1} + x_{0})\epsilon_{t+1}] = 0
\end{align}
\begin{align}
E[x_{t+1}x_{t}] &= E[(x_t+\epsilon_{t+1})x_t]\nonumber\\
& = E[x_tx_t+\epsilon_{t+1}x_t] \nonumber\\
&= E[x_tx_t] + E[\epsilon_{t+1}x_t] \nonumber\\
&= E[x_tx_t] = \sigma^2t+x_0^2
\end{align}
となるので、弱定常ではない。
一方で、差分をとると
\begin{align}
x_{t+1} - x_{t} = \epsilon_t
\end{align}
ホワイトノイズになるので弱定常です。
よって、x_tは単位根過程になります。
単位根過程の場合はみせかけの回帰が起こる。
独立同一分布(i.i.d.: independent and identically distribution)とは、確率過程が互いに独立であり、かつ、同一の確率分布に従うときに用いられる用語である。
(y_{t+1}; X_{t+1}) = f((y_t;X_t)) + \epsilon_{t+1}
fは非線形関数
MLモデルはiidを必要とする。
(y_{t+1}; X_{t+1})はiidでもなければ、強定常でもないし、なんなら弱定常でもない。
ADFとかで単位根過程かどうかを判定する。
Discussion