はじめに
重回帰モデルが
y_i = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \beta_3 x_{3, i} + \varepsilon_i
のような形で与えられた時、係数 \beta_1, \beta_2, \beta_3 の解釈はしばしば混乱を生む。
よくある誤解として、例えば \beta_3 は
y_i = \alpha_3 x_{3,i} + \epsilon_i
のような単回帰の係数 \alpha_3 に一致するというものがあるが、これは一般には誤りである。
実際には、\beta_3 は x_3 から x_1, x_2 の影響を除去した残りの成分で y_i に回帰する際の係数であり、「x_1, x_2 を固定して x_3 だけを動かした際の変化率」の意味合いに近い。
このことを説明する際によく用いられるのが、Frisch-Waugh-Lovell(FWL)定理としても知られる残差回帰である。
残差回帰による係数の求め方とその解釈
いきなり残差回帰の一般論に入らず、具体的に冒頭の3変数の重回帰モデルを例に解説を行う。
y_i = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \beta_3 x_{3, i} + \varepsilon_i, \quad (i=1, 2, ..., n)
\varepsilon_i は誤差項である。
この時の最小二乗推定量 \hat{\boldsymbol{\beta}} = (\hat{\beta}_0, \hat{\beta}_1, \hat{\beta}_2, \hat{\beta}_3)^\top は、ストレートには以下のように求められる:
\begin{aligned}
\begin{pmatrix}
\hat{\beta}_0\\
\hat{\beta}_1\\
\hat{\beta}_2\\
\hat{\beta}_3
\end{pmatrix}
&=
\begin{pmatrix}
n & \sum_i x_{1,i} & \sum_i x_{2,i} & \sum_i x_{3,i}\\
\sum_i x_{1,i} & \sum_i x_{1,i}^2 & \sum_i x_{1,i} x_{2,i} & \sum_i x_{1,i} x_{3,i}\\
\sum_i x_{2,i} & \sum_i x_{2,i} x_{1,i} & \sum_i x_{2,i}^2 & \sum_i x_{2,i} x_{3,i}\\
\sum_i x_{3,i} & \sum_i x_{3,i} x_{1,i} & \sum_i x_{3,i} x_{2,i} & \sum_i x_{3,i}^2
\end{pmatrix}^{-1}
\begin{pmatrix}
\sum_i y_i\\
\sum_i x_{1,i} y_i\\
\sum_i x_{2,i} y_i\\
\sum_i x_{3,i} y_i
\end{pmatrix}
\end{aligned}
一方で、次のように求めることもできる。
まず、x_3 を x_1, x_2 で回帰することを考える:
x_{3, i} = \delta_0 + \delta_1 x_{1, i} + \delta_2 x_{2,i} +\epsilon_i
\epsilon_i は、\varepsilon_i とは異なる誤差項である。
この時の係数 \delta_0, \delta_1, \delta_2 の最小二乗推定量を \hat{\delta}_0, \hat{\delta}_1, \hat{\delta}_2 とすると、この線形回帰モデルにおける x_{3,i} の残差は、
\tilde{x}_{3, i} = x_{3,i} - \hat{\delta}_0 - \hat{\delta}_1 x_{1, i} - \hat{\delta}_2 x_{2,i}
と表すことができる。
ここでさらに、残差 \tilde{x}_{3, i} で y_i に回帰する以下のようなモデルを考える(\eta_i は誤差項):
y_i = \gamma_3 \tilde{x}_{3,i} + \eta_i.
この時の係数 \gamma_3 の最小二乗推定量は、
\begin{aligned}
\hat{\gamma}_3
&= \frac{\sum_i \tilde{x}_{3, i} y_i}{\sum_i \tilde{x}_{3, i}^2}\\
&= \frac{\sum_i (x_{3,i} - \hat{\delta}_0 - \hat{\delta}_1 x_{1, i} - \hat{\delta}_2 x_{2,i}) y_i}{\sum_i (x_{3,i} - \hat{\delta}_0 - \hat{\delta}_1 x_{1, i}- \hat{\delta}_2 x_{2,i})^2}\\
\end{aligned}
のように求まるが、これが重回帰モデルにおける係数 \beta_3 の推定量と一致するのである(\hat{\beta}_3 = \hat{\gamma}_3)。
したがって、係数 \beta_3 は、説明変数 x_{3,i} から残りの説明変数 x_{1,i}, x_{2,i} の影響を差し引いた成分(残差 \tilde{x}_{3,i})で y_i に回帰した際の係数と解釈することができる。
一般の場合の残差回帰
以下では一般的な形で残差回帰を解説する。
設定
変数が p 個の線形回帰
y_i = \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_p x_{p, i} + \varepsilon_i, \quad i=1, 2, ..., n\\
E[\varepsilon_i]=0, \quad E[\varepsilon_i \varepsilon_j] =
\begin{cases}
\sigma^2 \quad (i=j)\\
0 \quad (i\ne j)
\end{cases}
を、計画行列 \boldsymbol{X} \in \mathbb{R}^{n \times p} を用いて以下のように表す:
\boldsymbol{Y} = \boldsymbol{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon} \tag{1}
ただし、
\boldsymbol{Y} =
\begin{pmatrix}
y_1\\
y_2\\
\vdots\\
y_n
\end{pmatrix}, \quad
\boldsymbol{X} =
\begin{pmatrix}
x_{1,1} & x_{2,1} & ... & x_{p, 1}\\
x_{1,2} & x_{2,2} & ... & x_{p, 2}\\
\vdots & & & \vdots\\
x_{1,n} & x_{2,n} & ... & x_{p, n}
\end{pmatrix},
\boldsymbol{\beta} = (\beta_1, \beta_2, ..., \beta_p)^\top, \quad
\boldsymbol{\varepsilon} = (\varepsilon_1, \varepsilon_2, ..., \varepsilon_n)^\top.
このとき、 係数 \boldsymbol{\beta} の最小二乗推定量を \hat{\boldsymbol{\beta}} は
\hat{\boldsymbol{\beta}} = \left( \boldsymbol{X}^\top \boldsymbol{X} \right)^{-1} \boldsymbol{X}^\top \boldsymbol{Y}
のように求まり、これを用いて \boldsymbol{Y} を以下のように表すことができる:
\boldsymbol{Y} = \boldsymbol{X} \hat{\boldsymbol{\beta}} + \hat{\boldsymbol{\varepsilon}} \tag{2}
ただし、残差を \hat{\boldsymbol{\varepsilon}} = \boldsymbol{Y} - \boldsymbol{X} \hat{\boldsymbol{\beta}} とした。
なお、以降の議論では p\le n かつ {\rm rank}\, \boldsymbol{X} = p で \boldsymbol{X} は full-rank であり、逆行列 (\boldsymbol{X}^\top \boldsymbol{X})^{-1} が存在するものとする。
Frisch-Waugh-Lovell (FWL) の定理
上記の設定のもと、p 個の説明変数(定数含む)を p_1 個と p - p_1 個の2グループに分割し、計画行列を \boldsymbol{X} = \left(\boldsymbol{X}_1, \boldsymbol{X}_2 \right) のように表す。
つまり、
\boldsymbol{X}_1 =
\begin{pmatrix}
x_{1,1} & x_{2,1} & ... & x_{p_1, 1}\\
x_{1,2} & x_{2,2} & ... & x_{p_1, 2}\\
\vdots & & & \vdots\\
x_{1,n} & x_{2,n} & ... & x_{p_1, n}
\end{pmatrix}, \quad
\boldsymbol{X}_2 =
\begin{pmatrix}
x_{p_1 + 1,1} & x_{p_1 + 2,1} & ... & x_{p, 1}\\
x_{p_1 + 1,2} & x_{p_1 + 2,2} & ... & x_{p, 2}\\
\vdots & & & \vdots\\
x_{p_1 + 1,n} & x_{p_1 + 2,n} & ... & x_{p, n}
\end{pmatrix}.
こうすることで、式(2) を以下のように書き換えることができる:
\boldsymbol{Y} = \boldsymbol{X}_1 \hat{\boldsymbol{\beta}}_1 + \boldsymbol{X}_2 \hat{\boldsymbol{\beta}}_2 + \hat{\boldsymbol{\varepsilon}} \tag{3}.
ただし、
\hat{\boldsymbol{\beta}} =
\begin{pmatrix}
\hat{\boldsymbol{\beta}}_1\\
\hat{\boldsymbol{\beta}}_2
\end{pmatrix}, \quad
\hat{\boldsymbol{\beta}}_1,
=
\begin{pmatrix}
\hat{\beta}_1\\
\hat{\beta}_2\\
\vdots\\
\hat{\beta}_{p_1}\\
\end{pmatrix},
\quad
\hat{\boldsymbol{\beta}}_2
=
\begin{pmatrix}
\hat{\beta}_{p_1 + 1}\\
\hat{\beta}_{p_1 + 2}\\
\vdots\\
\hat{\beta}_p\\
\end{pmatrix}
このとき、
\begin{aligned}
\boldsymbol{M}_1 &= \boldsymbol{I}_n - \boldsymbol{X}_1 \left( \boldsymbol{X}_1^\top \boldsymbol{X}_1 \right)^{-1} \boldsymbol{X}_1^\top\\
\tilde{\boldsymbol{X}}_2 &= \boldsymbol{M}_1 \boldsymbol{X}_2
\end{aligned}
と置く。
すると、後半 p - p_1 個の説明変数グループの係数推定量 \hat{\boldsymbol{\beta}}_2 は、以下のように求めることができる:
\hat{\boldsymbol{\beta}}_2 = (\tilde{\boldsymbol{X}}_2^\top \tilde{\boldsymbol{X}}_2)^{-1} \tilde{\boldsymbol{X}}_2^\top \boldsymbol{Y}. \tag{4}
このような係数推定量の求め方を残差回帰と呼ぶほか、上記の関係は Frisch-Waugh-Lovell (FWL) の定理としても知られる。
意味・解釈
\tilde{\boldsymbol{X}}_2 は \boldsymbol{X}_2 を \boldsymbol{X}_1 で回帰を行った際の残差を意味する。
したがって、式(4) から \hat{\boldsymbol{\beta}}_2 は \boldsymbol{Y} を残差 \tilde{\boldsymbol{X}}_2 で回帰した際の係数として解釈できる。
\tilde{\boldsymbol{X}}_2 が \boldsymbol{X}_1 による回帰の残差であることは以下のようにして分かる。
回帰モデル
\boldsymbol{X}_2 = \boldsymbol{X}_1 \boldsymbol{\delta} + \boldsymbol{\epsilon}
において、係数 \boldsymbol{\delta} の最小二乗推定量 \hat{\boldsymbol{\delta}} が
\hat{\boldsymbol{\delta}} = \left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1} \boldsymbol{X}_1^\top \boldsymbol{X}_2
のように求められるため、その際の残差は、
\begin{aligned}
\boldsymbol{X}_2 - \boldsymbol{X}_1\hat{\boldsymbol{\delta}}
&= \boldsymbol{X}_2 - \boldsymbol{X}_1\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1} \boldsymbol{X}_1^\top \boldsymbol{X}_2\\
&= \left\{ \boldsymbol{I}_n - \boldsymbol{X}_1 \left( \boldsymbol{X}_1^\top \boldsymbol{X}_1 \right)^{-1} \boldsymbol{X}_1^\top \right\} \boldsymbol{X}_2\\
&= \boldsymbol{M}_1 \boldsymbol{X}_2 = \tilde{\boldsymbol{X}}_2
\end{aligned}
となり、確かに \tilde{\boldsymbol{X}}_2 と一致することがわかる。
なお、冒頭の例は、
\boldsymbol{X}_1 =
\begin{pmatrix}
1 & x_{1, 1} & x_{2, 1}\\
1 & x_{1, 2} & x_{2, 2}\\
\vdots & \vdots\\
1 & x_{1, n} & x_{2, n}
\end{pmatrix}, \qquad
\boldsymbol{X}_2=
\begin{pmatrix}
x_{3,1}\\
x_{3,2}\\
\vdots\\
x_{3,n}
\end{pmatrix}
とした場合に相当する。
証明
以下では、式(4) が成り立つことを2通りの方法で証明する。
証明1: 正攻法
\boldsymbol{Y} を \boldsymbol{X}_1 で回帰した際の係数 \hat{\boldsymbol{\delta}} は
\hat{\boldsymbol{\delta}} = \left(\boldsymbol{X}_1^\top \boldsymbol{X}_1 \right)^{-1} \boldsymbol{X}_1^\top \boldsymbol{Y}
のように表され、さらにその際の残差 \tilde{\boldsymbol{Y}} = \boldsymbol{Y} - \boldsymbol{X}_1 \hat{\boldsymbol{\delta}} は、以下のように表すことができる:
\begin{aligned}
\tilde{\boldsymbol{Y}} &= \left\{ \boldsymbol{I}_n - \boldsymbol{X}_1 \left( \boldsymbol{X}_1^\top \boldsymbol{X}_1 \right)^{-1} \boldsymbol{X}_1^\top \right\} \boldsymbol{Y}\\
&= \boldsymbol{M}_1 \boldsymbol{Y}
\end{aligned}
ここで、式(3) を代入すると、
\begin{aligned}
\tilde{\boldsymbol{Y}}
&= \boldsymbol{M}_1 \left( \boldsymbol{X}_1 \hat{\boldsymbol{\beta}}_1 + \boldsymbol{X}_2 \hat{\boldsymbol{\beta}}_2 + \hat{\boldsymbol{\varepsilon}}\right)\\
&= \boldsymbol{M}_1 \boldsymbol{X}_2 \hat{\boldsymbol{\beta}}_2 + \hat{\boldsymbol{\varepsilon}} \qquad \because \boldsymbol{M}_1 \boldsymbol{X}_1 = \boldsymbol{0}, \, \boldsymbol{M}_1 \hat{\boldsymbol{\varepsilon}} = \hat{\boldsymbol{\varepsilon}}
\end{aligned}
となり、さらに \boldsymbol{M}_1 \boldsymbol{X}_2 = \tilde{\boldsymbol{X}}_2 であったので、\tilde{\boldsymbol{Y}} = \tilde{\boldsymbol{X}}_2 \hat{\boldsymbol{\beta}}_2 + \hat{\boldsymbol{\varepsilon}} が成り立っていることがわかる。
この両辺に左から \tilde{\boldsymbol{X}}_2^\top をかけて \tilde{\boldsymbol{X}}_2^\top\tilde{\boldsymbol{Y}} = \tilde{\boldsymbol{X}}_2^\top\tilde{\boldsymbol{X}}_2 \hat{\boldsymbol{\beta}}_2 とし、さらに \left( \tilde{\boldsymbol{X}}_2^\top\tilde{\boldsymbol{X}}_2 \right)^{-1} を左からかけることで、
\hat{\boldsymbol{\beta}}_2 = (\tilde{\boldsymbol{X}}_2^\top \tilde{\boldsymbol{X}}_2)^{-1} \tilde{\boldsymbol{X}}_2^\top \tilde{\boldsymbol{Y}}
が成立することがわかる。
ここで、行列 \boldsymbol{M}_1 は対称 \boldsymbol{M}_1^\top = \boldsymbol{M}_1 かつ冪等 \boldsymbol{M}_1^2 = \boldsymbol{M}_1 なので、これを利用すると、
\begin{aligned}
\tilde{\boldsymbol{X}}_2^\top \tilde{\boldsymbol{Y}}
&= \left( \boldsymbol{M}_1 \boldsymbol{X}_2 \right)^\top \boldsymbol{M}_1 \boldsymbol{Y}\\
&= \boldsymbol{X}_2 \boldsymbol{M}_1^\top \boldsymbol{M}_1 \boldsymbol{Y}\\
&= \boldsymbol{X}_2 \boldsymbol{M}_1 \boldsymbol{Y}\\
&= \left( \boldsymbol{M}_1 \boldsymbol{X}_2 \right)^\top \boldsymbol{Y}\\
&= \tilde{\boldsymbol{X}}_2^\top \boldsymbol{Y}
\end{aligned}
が成り立ち、したがって
\hat{\boldsymbol{\beta}}_2 = (\tilde{\boldsymbol{X}}_2^\top \tilde{\boldsymbol{X}}_2)^{-1} \tilde{\boldsymbol{X}}_2^\top \boldsymbol{Y}
が示される。
証明2: ブロック行列を用いた方法
推定量 \hat{\boldsymbol{\beta}} は \hat{\boldsymbol{\beta}} = \left( \boldsymbol{X}^\top \boldsymbol{X}\right)^{-1} \boldsymbol{X}^\top \boldsymbol{Y} のように得られたので、以下が成り立つ:
\begin{aligned}
\begin{pmatrix}
\hat{\boldsymbol{\beta}}_1\\
\hat{\boldsymbol{\beta}}_2
\end{pmatrix}
&=
\left\{
\begin{pmatrix}
\boldsymbol{X}_1^\top\\
\boldsymbol{X}_2^\top
\end{pmatrix}
\begin{pmatrix}
\boldsymbol{X}_1 & \boldsymbol{X}_2
\end{pmatrix}
\right\}^{-1}
\begin{pmatrix}
\boldsymbol{X}_1^\top\\
\boldsymbol{X}_2^\top
\end{pmatrix}
\boldsymbol{Y}\\
&=
\begin{pmatrix}
\boldsymbol{X}_1^\top \boldsymbol{X}_1 & \boldsymbol{X}_1^\top \boldsymbol{X}_2\\
\boldsymbol{X}_2^\top \boldsymbol{X}_1 & \boldsymbol{X}_2^\top \boldsymbol{X}_2
\end{pmatrix}^{-1}
\begin{pmatrix}
\boldsymbol{X}_1^\top \boldsymbol{Y}\\
\boldsymbol{X}_2^\top \boldsymbol{Y}
\end{pmatrix}
\end{aligned}
ここで、ブロック化した行列の逆行列について、以下の関係式が成り立つ:
\begin{pmatrix}
\boldsymbol{T} & \boldsymbol{U}\\
\boldsymbol{V} & \boldsymbol{W}
\end{pmatrix}^{-1}
=
\begin{pmatrix}
\boldsymbol{T}^{-1} + \boldsymbol{T}^{-1} \boldsymbol{U} \boldsymbol{Q}^{-1} \boldsymbol{V} \boldsymbol{T}^{-1} & - \boldsymbol{T}^{-1}\boldsymbol{U}\boldsymbol{Q}^{-1}\\
- \boldsymbol{Q}^{-1} \boldsymbol{V} \boldsymbol{T}^{-1} & \boldsymbol{Q}^{-1}
\end{pmatrix}
ただし、\boldsymbol{T}, \boldsymbol{W} は正方行列、\boldsymbol{Q} = \boldsymbol{W} - \boldsymbol{V} \boldsymbol{T}^{-1} \boldsymbol{U} と定義され、さらに \boldsymbol{T} と \boldsymbol{Q} は逆行列を持つものとする。
https://zenn.dev/link/comments/4f90e72bf8b9b4
これを用いると、
\begin{pmatrix}
\boldsymbol{X}_1^\top \boldsymbol{X}_1 & \boldsymbol{X}_1^\top \boldsymbol{X}_2\\
\boldsymbol{X}_2^\top \boldsymbol{X}_1 & \boldsymbol{X}_2^\top \boldsymbol{X}_2
\end{pmatrix}^{-1}
=
\begin{pmatrix}
\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}
+ \left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}
\boldsymbol{X}_1^\top \boldsymbol{X}_2 \boldsymbol{Q}^{-1} \boldsymbol{X}_2^\top \boldsymbol{X}_1
\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}
& - \left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1} \boldsymbol{X}_1^\top \boldsymbol{X}_2 \boldsymbol{Q}^{-1}
\\
- \boldsymbol{Q}^{-1} \boldsymbol{X}_2^\top \boldsymbol{X}_1\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}
& \boldsymbol{Q}^{-1}
\end{pmatrix}
ただし
\begin{aligned}
\boldsymbol{Q}
&=
\boldsymbol{X}_2^\top \boldsymbol{X}_2
- \boldsymbol{X}_2^\top \boldsymbol{X}_1 \left( \boldsymbol{X}_1^\top \boldsymbol{X}_1 \right)^{-1} \boldsymbol{X}_1^\top \boldsymbol{X}_2\\
&=
\boldsymbol{X}_2^\top
\left\{
\boldsymbol{I}_n - \boldsymbol{X}_1 \left( \boldsymbol{X}_1^\top \boldsymbol{X}_1 \right)^{-1} \boldsymbol{X}_1^\top
\right\}
\boldsymbol{X}_2\\
&= \boldsymbol{X}_2^\top \boldsymbol{M}_1 \boldsymbol{X}_2\\
&= \boldsymbol{X}_2^\top \boldsymbol{M}_1^\top \boldsymbol{M}_1 \boldsymbol{X}_2\\
&= \tilde{\boldsymbol{X}}_2^\top\tilde{\boldsymbol{X}}_2
\end{aligned}
のようになる。
したがって、
\begin{aligned}
\hat{\boldsymbol{\beta}}_2
&=
- \boldsymbol{Q}^{-1} \boldsymbol{X}_2^\top \boldsymbol{X}_1\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}\boldsymbol{X}_1^\top \boldsymbol{Y} + \boldsymbol{Q}^{-1}\boldsymbol{X}_2^\top \boldsymbol{Y}\\
&= \boldsymbol{Q}^{-1} \boldsymbol{X}_2^\top
\left\{
\boldsymbol{I}_n - \boldsymbol{X}_1\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}\boldsymbol{X}_1^\top
\right\} \boldsymbol{Y}\\
&= \boldsymbol{Q}^{-1} \boldsymbol{X}_2^\top \boldsymbol{M}_1 \boldsymbol{Y}\\
&= \left( \tilde{\boldsymbol{X}}_2^\top\tilde{\boldsymbol{X}}_2 \right)^{-1}\tilde{\boldsymbol{X}}_2 \boldsymbol{Y}
\end{aligned}
が示される。
証明2の補足
なお、同様に \hat{\boldsymbol{\beta}}_1 についても計算を行うと、
\begin{aligned}
\hat{\boldsymbol{\beta}}_1
&=
\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1} \boldsymbol{X}_1^\top \boldsymbol{Y}
- \left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}
\boldsymbol{X}_1^\top \boldsymbol{X}_2 \left( \tilde{\boldsymbol{X}}_2^\top\tilde{\boldsymbol{X}}_2 \right)^{-1}\tilde{\boldsymbol{X}}_2 \boldsymbol{Y}\\
&=
\left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1} \boldsymbol{X}_1^\top \boldsymbol{Y}
- \left(\boldsymbol{X}_1^\top \boldsymbol{X}_1\right)^{-1}
\boldsymbol{X}_1^\top \boldsymbol{X}_2 \hat{\boldsymbol{\beta}}_2
\end{aligned}
が得られる。
特に \boldsymbol{X}_1 = (1, 1, ..., 1)^\top の場合、
\begin{aligned}
\hat{\beta}_1
&= \frac{1}{n}\sum_{i=1}^n y_i - \hat{\beta}_2 \frac{1}{n} \sum_{i=1}^n x_{2,i} - \hat{\beta}_3 \frac{1}{n} \sum_{i=1}^n x_{3,i} - ... - \hat{\beta}_p \frac{1}{n} \sum_{i=1}^n x_{p,i}\\
&= \bar{y} - \hat{\beta}_2 \bar{x}_2 - \hat{\beta}_3 \bar{x}_3 - ... - \hat{\beta}_p \bar{x}_p
\end{aligned}
のように、よく見た定数項の求め方になる (\bar{y}= \frac{1}{n}\sum_i y_i, \bar{x}_k = \frac{1}{n}\sum_i x_{k,i})。
なお、このとき残差 \tilde{\boldsymbol{X}}_2 は
\tilde{\boldsymbol{X}}_2 =
\begin{pmatrix}
x_{2,1} - \bar{x}_2 & x_{3,1} - \bar{x}_3 & ... & x_{p,1} - \bar{x}_p\\
x_{2,2} - \bar{x}_2 & x_{3,2} - \bar{x}_3 & ... & x_{p,2} - \bar{x}_p\\
\vdots & & & \vdots\\
x_{2,n} - \bar{x}_2 & x_{3,n} - \bar{x}_3 & ... & x_{p,n} - \bar{x}_p\\
\end{pmatrix}
のように各説明変数の平均値を差し引いたものになる。
参考文献
- 高橋将宜、「統計的因果推論の理論と実装」(共立出版、2022)
https://amzn.asia/d/fmchigb
- 浅野皙・中村二朗、「計量経済学」第2版(有斐閣、2009)
https://amzn.asia/d/2xFQebO
- 西山慶彦・新谷元嗣・川口大司・奥井亮、「計量経済学(New Liberal Arts Selection)」(有斐閣、2019)
https://amzn.asia/d/hbZoFo2
Discussion