AR(p) 過程の Lag Operator を用いた表記とMA(\infty)過程への書き換え

以下のように次数 p の AR 過程が与えられたとする（\varepsilon_t はホワイトノイズ）：

y_t = \phi_1 y_{t-1} + \phi_2 y_{t-2} + ... + \phi_p y_{t-p} + \varepsilon_t.

ここで、以下のような Lag Operator L を定義する。

L y_t = y_{t-1}

これを用いて、上記の AR(p) 過程は以下のように表すことができる:

\phi(L) y_t = \varepsilon_t,\tag{1}\\ \phi(L) = 1 - \phi_1 L - \phi_2 L^2 - ... - \phi_p L^p

ここで、\phi(z) = 1 - \phi_1 z - \phi_2 z^2 - ... - \phi_p z^p = 0 の根 \{z_k^{*}\}_{k=1}^{p} が全て単位円の外側にある（|z_k^*|>1）とする。

このとき、

\frac{1}{\phi(L)} \phi(L)y_t = y_t

となる 1/\phi(L) が存在し、

y_t = \frac{1}{\phi(L)} \varepsilon_t \tag{2}

のように表すことができる。

なお、1/\phi(L) は以下のように書き表すことができる：

\phi(L) = (1 - \lambda_1 L)(1 - \lambda_2 L) \cdot ... \cdot (1 - \lambda_p L) と表して

\frac{1}{\phi(L)} = \left( \sum_{n=0}^\infty \lambda_1^n L^n \right)\left( \sum_{n=0}^\infty \lambda_2^n L^n \right) \cdot ... \cdot \left( \sum_{n=0}^\infty \lambda_p^n L^n \right).

したがって式(2)は、式(1)のAR(p)過程を以下のようなMA(\infty)過程に書き換えられることを意味している：

y_t = \left( \sum_{n=0}^\infty \lambda_1^n L^n \right)\left( \sum_{n=0}^\infty \lambda_2^n L^n \right) \cdot ... \cdot \left( \sum_{n=0}^\infty \lambda_p^n L^n \right) \varepsilon_t.

---

以降、p=1 から順に、これらの関係の意味と何故成り立つのかを見ていく。

p=1 における例

AR(1)過程

y_t = \phi_1 y_{t-1} + \varepsilon_t

が与えられたとき、\phi(L)=1 - \phi_1 L と置くことで

\phi(L) y_t = \varepsilon_t \tag{3}

のように表すことができる。

このとき、|\phi_1|<1 であれば

\frac{1}{\phi(L)} = \sum_{n=0}^\infty \phi_1^n L^n

と置いて

y_t = \frac{1}{\phi(L)} \varepsilon_t

と表すことができる。
なお、これは式(3)のAR(1)過程をMA(\infty)過程

y_t = \sum_{n=0}^\infty\phi_1^n \varepsilon_{t-n}

に書き換えられることを意味している。

以下、これらを示す。

AR(1)からMA(\infty)への書き換え

導出の前に、|\phi_1|<1 であれば上記のAR(1)過程をMA(\infty)過程に書き換えられることを簡単な方法で示す。

\begin{aligned} y_t &= \phi_1 y_{t-1} + \varepsilon_t\\ &= \phi_1 (\phi_1 y_{t-2} + \varepsilon_{t-1}) + \varepsilon_{t-1}\\ &= \phi_1^2 y_{t-2} + \phi_1 \varepsilon_{t-1} + \varepsilon_t\\ &= \phi_1^3 y_{t-3} + \phi_1^2 \varepsilon_{t-2} + \phi_1 \varepsilon_{t-1} + \varepsilon_t\\ &= ...\\ &= \phi_1^n y_{t-n} + \phi_1^{n-1} \varepsilon_{t-n+1} + \phi_1^{n-2} \varepsilon_{t-n+2} + .... + \phi_1^2 \varepsilon_{t-2} + \phi_1 \varepsilon_{t-1} + \varepsilon_t \end{aligned}

|\phi_1|<1 であれば、 \phi_1^n y_{t-n} \xrightarrow{n\to \infty} 0 になるので、

\begin{aligned} y_t &= \varepsilon_t + \phi_1 \varepsilon_{t-1} + \phi_1^2 \varepsilon_{t-2} + ...\\ &= \sum_{n=0}^\infty\phi_1^n \varepsilon_{t-n} \end{aligned}

のように、y_t をMA(\infty)過程として表すことができた。

Lag Operator を用いた導出

同様の結果を、今度は Lag Operator を用いて示す。

式(3)の両辺に 1 + \phi_1 L + \phi_1^2 L^2 + ... + \phi_1^n L^n をかける：

(1 + \phi_1 L + \phi_1^2 L^2 + ... + \phi_1^n L^n) \phi(L) y_t = (1 + \phi_1 L + \phi_1^2 L^2 + ... + \phi_1^n L^n)\varepsilon_t

このとき左辺は、

\begin{aligned} (1 + \phi_1 L + \phi_1^2 L^2 + ... + \phi_1^n L^n) (1 - \phi_1 L) y_t &= (1 - \phi_1^{n+1}L^{n+1})y_t\\ &= y - \phi_1^{n+1} y_{t - n - 1} \end{aligned}

と表すことができる。
ここで |\phi_1|<1 であれば、 \phi_1^{n+1} y_{t-n-1} \xrightarrow{n\to \infty} 0 なので、

(1 + \phi_1 L + \phi_1^2 L^2 + \phi_1^3 L^3 + ...) \phi(L) y_t = y_t

が言える。
したがって、

\frac{1}{\phi(L)} = \sum_{n=0}^\infty \phi_1^n L^n

とおくと

\begin{aligned} y_t &= \frac{1}{\phi(L)} \varepsilon_t\\ &= \varepsilon_t + \phi_1 \varepsilon_{t-1} + \phi_1^2 \varepsilon_{t-2} + \phi_1^3 \varepsilon_{t-3} + ... \end{aligned}

と表すことができる。

p=2 における例

p=1 の例を念頭に、 p=2 においても冒頭で述べた関係が成り立っていることを確認する。

AR(2) から MA(\infty) への書き換え

AR(2) モデル

y_t = \phi_1 y_{t-1} + \phi_2 y_{t-2} + \varepsilon_t

を、\phi(L) = 1 - \phi_1 L - \phi_2 L^2 を用いて

\phi(L) y_t = \varepsilon_t

と表す。

このとき、 \phi(z) = 1 - \phi_1 z - \phi_2 z^2 = 0 の根 z_1^*, z_2^* が共に単位円の外側にあれば（|z_1^*|>1, \, |z_2^*|>1）、

\frac{1}{\phi(L)} \phi(L) y_t = y_t

となる 1/\phi(L) が定義できて、

y_t = \frac{1}{\phi(L)} \varepsilon_t

と表すことができる。なお、これはMA(\infty)過程である。

導出

まず、

1 - \phi_1 L - \phi_2 L^2 = (1 - \lambda_1 L) (1 - \lambda_2 L)

と書き換える。

このとき、\phi(z) = (1-\lambda_1 z) (1- \lambda_2 z) であるので、\phi(z)=0 の根は z_1^* = 1/\lambda_1, \, z_2^* = 1/\lambda_2 と表せる。

したがって、 |z_1^*|>1, \, |z_2^*|>1 は、 |\lambda_1| < 1, \, |\lambda_2|<1 を意味する。

すると、

\phi_1(L) = 1 - \lambda_1 L, \qquad \phi_2(L) = 1 - \lambda_2 L

と置くと p=1 のときと同様の議論が使えて、

\frac{1}{\phi_1(L)} = \sum_{n=0}^\infty \lambda_1^n L^n, \qquad \frac{1}{\phi_2(L)} = \sum_{n=0}^\infty \lambda_2^n L^n

が成り立つ。
したがって、\phi(L) = \phi_1(L) \phi_2(L) より、

\left( \sum_{n=0}^\infty \lambda_1^n L^n \right)\left( \sum_{n=0}^\infty \lambda_2^n L^n \right) \phi(L) y_t = y_t

であるので、

\frac{1}{\phi(L)} = \left( \sum_{n=0}^\infty \lambda_1^n L^n \right)\left( \sum_{n=0}^\infty \lambda_2^n L^n \right)

とおけば、

\frac{1}{\phi(L)} \phi(L) y_t = y_t

かつ

\begin{aligned} y_t &= \frac{1}{\phi(L)} \varepsilon_t\\ &=\left( \sum_{n=0}^\infty \lambda_1^n L^n \right)\left( \sum_{n=0}^\infty \lambda_2^n L^n \right)\varepsilon_t \end{aligned}

のようにMA(\infty)過程に書き換えられることが示された。

再び AR(p) に戻る

前節の AR(2) のときの考え方と同様にして、冒頭で述べた一般の p における関係も理解することができる。

つまり、\phi(L) = 1 - \phi_1 L - \phi_2 L^2 - ... - \phi_p L^p として AR(p) 過程を \phi(L)y_t = \varepsilon_t と表したとき、\phi(z)= 1 - \phi_1 z - \phi_2 z^2 - ... - \phi_p z^p=0 の根が全て単位円の外側にあれば、

\phi(L) = \prod_{k=1}^p \left( 1 - \lambda_k L \right)

と表した時の \lambda_1, \lambda_2, ..., \lambda_p の大きさ |\lambda_k| が全て1より小さくなる。

したがって、

\frac{1}{\phi(L)} = \prod_{k=1}^p \left(\sum_{n=0}^\infty \lambda_k^n L^n\right)

とおけば

\frac{1}{\phi(L)} \phi(L) y_t = y_t

が成り立ち、かつ

\begin{aligned} y_t &= \frac{1}{\phi(L)} \varepsilon_t\\ &= \left(\sum_{n=0}^\infty \lambda_1^n L^n\right) \left(\sum_{n=0}^\infty \lambda_2^n L^n\right)\cdot ... \cdot \left(\sum_{n=0}^\infty \lambda_p^n L^n\right)\varepsilon_t \end{aligned}

のように \{y_t\} をMA(\infty)過程として書き換えることができる。

参考文献

• J.D.Hamilton, Time Series Analysis (Princeton Univ Pr, 1994)

https://amzn.asia/d/dHAwb2G

AR(p) 過程の定常状態における期待値

以下のように次数 p の AR 過程が与えられたとする（\varepsilon_t はホワイトノイズ）：

y_t = c + \phi_1 y_{t-1} + \phi_2 y_{t-2} + ... + \phi_p y_{t-p} + \varepsilon_t. \tag{1}

このとき、 \phi(z) = 1 - \phi_1 z - \phi_2 z^2 - ... - \phi_p z^p = 0 の根が全て単位円の外側にあれば時系列は（弱）定常状態にあることが知られている。^[1]

そして、定常状態では y_t の期待値が以下のように求められる：

E[y_t] = \frac{c}{1 - \phi_1 - \phi_2 - ... - \phi_p}. \tag{2}

この投稿では、この定常状態における AR(p) 過程の期待値の導出を3通り紹介する。

方法1: 最もシンプルな導出

y_t が定常状態にあればその期待値は時刻 t によらず一定になるので、その値を以下のように \mu と置く：

E[y_t] = \mu.

ここで式(1)の両辺について期待値を取ると、

\begin{aligned} E[y_t] &= c + \phi_1 E[y_{t-1}] + \phi_2 E[y_{t-2}] + ... + \phi_p E[y_{t-p}] + E[\varepsilon_t]\\ &= c + \phi_1 \mu + \phi_2 \mu + ... \phi_p \mu + 0 \qquad (\because E[\varepsilon_t] = 0)\\ &= \mu. \end{aligned}

したがって、上記の式を \mu について整理すると、

\mu = \frac{c}{1 - \phi_1 - \phi_2 - ... - \phi_p}

となり、式(2)が成立することが示された。

方法2: Lag Operator を用いた方法

下記の投稿で紹介したように、Lag Operator L を用いて式(1)を以下のように書き表すことができる：

\phi(L)y_t = c + \varepsilon_t

なお、\phi(L) = 1 - \phi_1 L - \phi_2 L^2 - ... - \phi_p L^p である。

さらに、\phi(z)=0 の根が全て単位円の外側にあれば、\frac{1}{\phi(L)} \phi(L) y_t = y_t となるような逆作用素 1/\phi(L) が存在し、

y_t = \frac{1}{\phi(L)} (c + \varepsilon_t) \tag{3}

の形で表すことができる。

https://zenn.dev/link/comments/bf6cd918613b50

ここで、 Lc = c より

\frac{1}{\phi(L)} c = \frac{c}{1 - \phi_1 - \phi_2 - ... -\phi_p}

であり^[2]、また

E\left[ \frac{1}{\phi(L)}\varepsilon_t\right] = 0

なので^[3]、式(3)の両辺について期待値を取ると

E[y_t] = \frac{c}{1 - \phi_1 - \phi_2 - ... - \phi_p}

となり式(2)が示された。

方法3: 行列を用いた方法

式(1)は、以下のようにベクトル・行列を用いて書き表すことができる：

\begin{pmatrix} y_t\\ y_{t-1}\\ y_{t-2}\\ \vdots\\ y_{t-p-1} \end{pmatrix}= \begin{pmatrix} c\\ 0\\ 0\\ \vdots\\ 0 \end{pmatrix}+ \begin{pmatrix} \phi_1 & \phi_2 & ... & \phi_{p-1} & \phi_p\\ 1 & 0 & ... & 0 & 0\\ 0 & 1 & ... & 0 & 0\\ \vdots & \vdots & & \vdots & \vdots\\ 0 & 0 & ... & 1 & 0 \end{pmatrix} \begin{pmatrix} y_{t-1}\\ y_{t-2}\\ y_{t-3}\\ \vdots\\ y_{t-p} \end{pmatrix}+ \begin{pmatrix} \varepsilon_t\\ 0\\ 0\\ \vdots\\ 0 \end{pmatrix}. \tag{4}

以下、

\boldsymbol{\Phi} = \begin{pmatrix} \phi_1 & \phi_2 & ... & \phi_{p-1} & \phi_p\\ 1 & 0 & ... & 0 & 0\\ 0 & 1 & ... & 0 & 0\\ \vdots & \vdots & & \vdots & \vdots\\ 0 & 0 & ... & 1 & 0 \end{pmatrix}

\boldsymbol{Y}_{t-1} = \begin{pmatrix} y_{t-1}\\ y_{t-2}\\ y_{t-3}\\ \vdots\\ y_{t-p} \end{pmatrix}, \quad \boldsymbol{c}= \begin{pmatrix} c\\ 0\\ 0\\ \vdots\\ 0 \end{pmatrix}, \quad \boldsymbol{\varepsilon}_t= \begin{pmatrix} \varepsilon_t\\ 0\\ 0\\ \vdots\\ 0 \end{pmatrix}

を用いて式(4)を以下のように表す：

\boldsymbol{Y}_t = \boldsymbol{c} + \boldsymbol{\Phi} \boldsymbol{Y}_{t-1} + \boldsymbol{\varepsilon}_t. \tag{5}

すると、

\begin{aligned} \boldsymbol{Y}_t &= \boldsymbol{c} + \boldsymbol{\Phi} (\boldsymbol{c}+ \boldsymbol{\Phi} \boldsymbol{Y}_{t-2} + \boldsymbol{\varepsilon}_{t-1}) + \boldsymbol{\varepsilon}_t\\ &= \boldsymbol{\Phi}^2 \boldsymbol{Y}_{t-2} + (\boldsymbol{I}_p + \boldsymbol{\Phi})\boldsymbol{c} + (\boldsymbol{\varepsilon}_t + \boldsymbol{\Phi} \boldsymbol{\varepsilon}_{t-1})\\ &= \boldsymbol{\Phi}^3 \boldsymbol{Y}_{t-3} + (\boldsymbol{I}_p + \boldsymbol{\Phi} + \boldsymbol{\Phi}^2)\boldsymbol{c} + (\boldsymbol{\varepsilon}_t + \boldsymbol{\Phi} \boldsymbol{\varepsilon}_{t-1} + \boldsymbol{\Phi}^2 \boldsymbol{\varepsilon}_{t-2})\\ &= ...\\\ &=\boldsymbol{\Phi}^n \boldsymbol{Y}_{t-n} + (\boldsymbol{I}_p + \boldsymbol{\Phi} + \boldsymbol{\Phi}^2 + .... + \boldsymbol{\Phi}^n)\boldsymbol{c} + (\boldsymbol{\varepsilon}_t + \boldsymbol{\Phi} \boldsymbol{\varepsilon}_{t-1} + \boldsymbol{\Phi}^2 \boldsymbol{\varepsilon}_{t-2} + \boldsymbol{\Phi}^n \boldsymbol{\varepsilon}_{t-n}) \tag{6} \end{aligned}

のように表される。

ここで、 \phi(z)=1 - \phi_1 z - \phi_2 z^2 - \phi_p z^p=0 の根が全て単位円の外側にあることは、行列 \boldsymbol{\Phi} の固有値の大きさが全て1より小さいことと同値であるため（後述 補足2）、この時 \boldsymbol{\Phi}^n \boldsymbol{Y}_{t-n} \xrightarrow{n\to\infty}\boldsymbol{0} となる（補足1参照）。

したがって、前述の条件が満たされている場合は式(6)は以下のように書き表すことができる：

\boldsymbol{Y}_t =(\boldsymbol{I}_p + \boldsymbol{\Phi} + \boldsymbol{\Phi}^2 + .... )\boldsymbol{c} + (\boldsymbol{\varepsilon}_t + \boldsymbol{\Phi} \boldsymbol{\varepsilon}_{t-1} + \boldsymbol{\Phi}^2 \boldsymbol{\varepsilon}_{t-2} + ...). \tag{7}

ここで、

\boldsymbol{I}_p + \boldsymbol{\Phi} + \boldsymbol{\Phi}^2 + ... = (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1}

であること（後述 補足3）と E[\boldsymbol{\varepsilon}_t]=\boldsymbol{0} より、式(7)の両辺について期待値を取ると、

E[\boldsymbol{Y}_t] = (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1}\boldsymbol{c}

となる。

したがって、\boldsymbol{c} = (c, 0, ..., 0)^\top であったことを思い出すと、E[\boldsymbol{Y}_t] を求めるには (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} の1列目の成分だけ分かればよい。

(\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} の1列目の成分を (a_{1,1}, a_{2,1}, ..., a_{p,1})^\top とおくと、(\boldsymbol{I}_p - \boldsymbol{\Phi})(\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} = \boldsymbol{I}_p であるので、

\begin{pmatrix} 1 - \phi_1 & -\phi_2 & -\phi_3 & ... & -\phi_{p-1} & -\phi_p\\ -1 & 1 & 0 & ... & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1 & 0\\ 0 & 0 & 0 & ... & -1 & 1 \end{pmatrix} \begin{pmatrix} a_{1,1}\\ a_{2,1}\\ \vdots\\ a_{p-1, 1}\\ a_{p,1} \end{pmatrix}= \begin{pmatrix} 1\\ 0\\ \vdots\\ 0\\ 0 \end{pmatrix}

とならなくてはいけない。これを満たすのは、

a_{1,1}=a_{2,1}= ... = a_{p,1}=\frac{1}{1 - \phi_1 - \phi_2 - ... - \phi_p}

の時であり、したがって (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} \boldsymbol{c} の各成分の値は c/(1 - \phi_1 - \phi_2 - ... - \phi_p) であるとわかる。

以上から、

E[y_t] = \frac{c}{1 - \phi_1 - \phi_2 - ... -\phi_p}

が示された。

補足

1: 固有値の大きさが全て1より小さい行列の階乗の極限が \boldsymbol{0} になることの簡易な証明

行列 \boldsymbol{\Phi} の固有値の大きさが全て1より小さい時、

\lim_{n\to\infty}\boldsymbol{\Phi}^n = \boldsymbol{0}

となることを示す。

\boldsymbol{\Phi} を p \times p 行列とすると、適当な行列 \boldsymbol{Q} を用いて以下のように書き表すことができる：

\boldsymbol{\Phi} = \boldsymbol{Q} \boldsymbol{\Lambda} \boldsymbol{Q}^{-1}.

ここで \boldsymbol{\Lambda} は固有値 \{\lambda_k\}_{k=1}^p を対角成分とした対角行列である：

\boldsymbol{\Lambda} = \begin{pmatrix} \lambda_1 & 0 & ... & 0\\ 0 & \lambda_2 & ... & 0\\ \vdots & \vdots & ... & \vdots\\ 0 & 0 & ... & \lambda_p \end{pmatrix}.

すると、 \boldsymbol{\Phi}^n は以下のように表すことができる：

\begin{aligned} \boldsymbol{\Phi}^n &= \boldsymbol{Q} \boldsymbol{\Lambda} \boldsymbol{Q}^{-1}\boldsymbol{Q} \boldsymbol{\Lambda} \boldsymbol{Q}^{-1}\cdot ... \cdot \boldsymbol{Q} \boldsymbol{\Lambda} \boldsymbol{Q}^{-1}\\ &=\boldsymbol{Q}^n \boldsymbol{\Lambda}^n (\boldsymbol{Q}^{-1})^n. \tag{A.1.1} \end{aligned}

ここで、 固有値 \{\lambda_k\}_{k=1}^p は大きさが全て1より小さい |\lambda_k|<1 ことから \lambda_k^n \xrightarrow{n\to\infty}0 である^[4]ので、

\boldsymbol{\Lambda}^n = \begin{pmatrix} \lambda_1^n & 0 & ... & 0\\ 0 & \lambda_2^n & ... & 0\\ \vdots & \vdots & ... & \vdots\\ 0 & 0 & ... & \lambda_p^n \end{pmatrix} \xrightarrow{n\to\infty} \boldsymbol{0}

となる。
したがって、式(A.1.1)は

\lim_{n\to\infty}\boldsymbol{Q}^n \boldsymbol{\Lambda}^n (\boldsymbol{Q}^{-1})^n = \boldsymbol{0}

となり、第意は示された。

2: 行列 \boldsymbol{\Phi} の固有方程式と固有値

ここでは行列 \boldsymbol{\Phi} の固有方程式を求めたうえで、行列 \boldsymbol{\Phi} の固有値が全て単位円の内側にあることが \phi(z) = 1 - \phi_1 z - \phi_2 z^2 - ... - \phi_p z^p = 0 の根が全て単位円の外側にあることと同値であることを示す。

|\boldsymbol{\Phi} - \lambda \boldsymbol{I}_p| = \left| \begin{pmatrix} \phi_1 - \lambda & \phi_2 & \phi_3 & ... & \phi_{p-2} & \phi_{p-1} & \phi_p\\ 1 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 1 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & 1 & -\lambda \end{pmatrix} \right| \tag{A2.1}

ここで、

\begin{pmatrix} \phi_1 - \lambda & \phi_2 & \phi_3 & ... & \phi_{p-2} & \phi_{p-1} & \phi_p\\ 1 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 1 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & 1 & -\lambda \end{pmatrix} \begin{pmatrix} 1 & 0 & 0 & ... & 0 & 0 & 0\\ 0 & 1 & 0 & ... & 0 & 0 & 0\\ 0 & 0 & 1 & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 0 & 1 & 0\\ 0 & 0 & 0 & ... & 0 & 1/\lambda & 1\\ \end{pmatrix}\\= \begin{pmatrix} \phi_1 - \lambda & \phi_2 & \phi_3 & ... & \phi_{p-2} & \color{red}\phi_{p-1} +\phi_p/\lambda & \phi_p\\ 1 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 1 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & \color{red}0 & -\lambda \end{pmatrix}

かつ、

\left| \begin{pmatrix} 1 & 0 & 0 & ... & 0 & 0 & 0\\ 0 & 1 & 0 & ... & 0 & 0 & 0\\ 0 & 0 & 1 & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 0 & 1 & 0\\ 0 & 0 & 0 & ... & 0 & 1/\lambda & 1\\ \end{pmatrix} \right|=1

であることから、

\left| \begin{pmatrix} \phi_1 - \lambda & \phi_2 & \phi_3 & ... & \phi_{p-2} & \phi_{p-1} & \phi_p\\ 1 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 1 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & 1 & -\lambda \end{pmatrix} \right|= \left| \begin{pmatrix} \phi_1 - \lambda & \phi_2 & \phi_3 & ... & \phi_{p-2} & \color{red}\phi_{p-1} +\phi_p/\lambda & \phi_p\\ 1 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 1 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & \color{red}0 & -\lambda \end{pmatrix} \right|

が言える。

さらにここで行列式

\left| \begin{pmatrix} 1 & 0 & 0 & ... & 0 & 0 & 0\\ 0 & 1 & 0 & ... & 0 & 0 & 0\\ 0 & 0 & 1 & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1/\lambda & 1 & 0\\ 0 & 0 & 0 & ... & 0 & 0 & 1\\ \end{pmatrix} \right|

を右からかけることで、

\left| \begin{pmatrix} \phi_1 - \lambda & \phi_2 & \phi_3 & ... & \phi_{p-2} & \color{red}\phi_{p-1} +\phi_p/\lambda & \phi_p\\ 1 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 1 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 1 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & \color{red}0 & -\lambda \end{pmatrix} \right|= \left| \begin{pmatrix} \phi_1 - \lambda & \phi_2 & \phi_3 & ... & \color{red}\phi_{p-2}+\phi_{p-1}/\lambda+\phi_p/\lambda^2 & \color{red}\phi_{p-1} +\phi_p/\lambda & \phi_p\\ 1 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 1 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & \color{red}0 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & \color{red}0 & -\lambda \end{pmatrix} \right|

となり、さらに同様のことを繰り返すことで最終的に、

\begin{aligned} |\boldsymbol{\Phi} - \lambda \boldsymbol{I}_p| &= \left| \begin{pmatrix} \phi_1 - \lambda + \phi_2/\lambda + \phi_3 / \lambda^2 + ... + \phi_p / \lambda^{p-1} & \phi_2 + \phi_3 / \lambda + \phi_4 /\lambda^2 + ... + \phi_p / \lambda^{p-2} & \phi_3 + \phi_4/\lambda + ... +\phi_p / \lambda^{p-3} & ... & \phi_{p-2} + \phi_{p-1}/\lambda + \phi_p / \lambda^2 & \phi_{p-1} +\phi_p/\lambda & \phi_p\\ 0 & -\lambda & 0 & ... & 0 & 0 & 0\\ 0 & 0 & -\lambda & ... & 0 & 0 & 0\\ \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots\\ 0 & 0 & 0 & ... & 0 & -\lambda & 0\\ 0 & 0 & 0 & ... & 0 & 0 & -\lambda \end{pmatrix} \right|\\ &=(\phi_1 - \lambda + \phi_2/\lambda + \phi_3 / \lambda^2 + ... + \phi_p / \lambda^{p-1}) (-\lambda)^{p-1}\\ &= (-1)^p (\lambda^p - \phi_1 \lambda^{p-1} - \phi_2 \lambda^{p-2} - ... -\phi_{p-1} \lambda - \phi_p) \end{aligned}

したがって、\boldsymbol{\Phi} の固有方程式 |\boldsymbol{\Phi} - \lambda \boldsymbol{I}_p| = 0 は

\lambda^p - \phi_1 \lambda^{p-1} - \phi_2 \lambda^{p-2} - ... -\phi_{p-1} \lambda - \phi_p = 0

と表すことができ、この方程式の根が \boldsymbol{\Phi} の固有値となる。

ここで z = 1/\lambda と置き換えると、\lambda \ne 0 である限り上記の固有方程式は

\phi(z) = 1 - \phi_1 z - \phi_2 z^2 - ... - \phi_{p-1}z^{p-1} - \phi_p z^p = 0

と同値である。
以上から、\phi(z)=0 の根が単位円より外側にあることは、固有方程式 |\boldsymbol{\Phi} - \lambda \boldsymbol{I}_p| = 0 の根が全て単位円の内側にあることを意味し、さらにそれは \boldsymbol{\Phi} の固有値の大きさが全て1より小さいことを意味する。

3: 行列 \boldsymbol{\Phi} の階乗の無限級数

以下では、 \phi(z)=0 の根が全て単位円の外側にあれば

\boldsymbol{I}_p + \boldsymbol{\Phi} + \boldsymbol{\Phi}^2 + \boldsymbol{\Phi}^3 + ... = (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} \tag{A.2.1}

が成り立つことを示す。

まず、

\boldsymbol{S}_n = \boldsymbol{I}_p + \boldsymbol{\Phi} + \boldsymbol{\Phi}^2 + ... + \boldsymbol{\Phi}^n

と置く。

このとき \boldsymbol{S}_n - \boldsymbol{\Phi} \boldsymbol{S}_n を計算すると、

(\boldsymbol{I}_p - \boldsymbol{\Phi}) \boldsymbol{S}_n = \boldsymbol{I}_p - \boldsymbol{\Phi}^{n+1}

となる。
ここで、本文中で述べたように \phi(z)=0 の根が全て単位円の外側にあることは \boldsymbol{\Phi} の固有値の大きさが全て1より小さいことを意味するので、行列 (\boldsymbol{I}_p - \boldsymbol{\Phi}) は正定値行列^[5]となり逆行列 (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} が存在する。
したがって、

\boldsymbol{S}_n = (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} (\boldsymbol{I}_p - \boldsymbol{\Phi}^{n+1}).

さらにこの時補足1より \lim_{n\to\infty}\boldsymbol{\Phi}^n = \boldsymbol{0} なので、

\lim_{n\to\infty} \boldsymbol{S}_n = (\boldsymbol{I}_p - \boldsymbol{\Phi})^{-1} (\boldsymbol{I}_p - \boldsymbol{0})

となる。
以上から式(A.2.1)が示された。

参考文献

• J.D.Hamilton, Time Series Analysis (Princeton Univ Pr, 1994)

https://amzn.asia/d/dHAwb2G

脚注

1. 時系列 \{y_t\} が弱定常状態にあるとは、期待値 E[y_t]、分散 V[y_t]、自己共分散 Cov[y_t, y_{t-k}] が時刻 t に依らず一定であることを言う。 ↩︎

2. もう少し詳しく書くと、|\lambda_k|<1 について \frac{1}{1 - \lambda_k L}c = (1 + \lambda_k L + \lambda_k^2 L^2 + ...)c = (1 + \lambda_k + \lambda_k^2 + ...)c=\frac{c}{1-\lambda_k} なので、\frac{1}{\phi(L)}c = \frac{1}{\phi(1)}c になる。 ↩︎

3. もう少し正確に記述する。まず、 MA(\infty) 過程 y_t = c + \theta_0 \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + ... は、 \sum_{i=0}^\infty \theta_i^2 < \infty の時（弱）定常である。一方、 AR(p) 過程 \phi(L)y_t = \varepsilon_t は \phi(z)=0 の根が全て単位円の外側にあれば、これを MA(\infty) 過程 y_t = \frac{1}{\phi(L)}\varepsilon_t = \psi_0 \varepsilon_t + \psi_1 \varepsilon_{t-1} + \psi_2 \varepsilon_{t-2} + ... の形で表した時 \sum_{i=0}^\infty \psi_i^2 < \infty となる。したがって \frac{1}{\phi(L)}\varepsilon_t は（弱）定常となり平均値が存在し、その値は0となる。 ↩︎

4. もう少し詳しく書くと、実数 r, \theta を用いて \lambda_k=r e^{i\theta} と表した時、|r|<1 なので \lambda_k^n = r^n e^{in\theta} \xrightarrow{n\to\infty}0. ↩︎

5. https://zenn.dev/link/comments/e9090f5ef1defc の補足参照。 ↩︎