はじめに
重回帰モデルが
yi=β0+β1x1,i+β2x2,i+β3x3,i+εi
のような形で与えられた時、係数 β1,β2,β3 の解釈はしばしば混乱を生む。
よくある誤解として、例えば β3 は
yi=α3x3,i+ϵi
のような単回帰の係数 α3 に一致するというものがあるが、これは一般には誤りである。
実際には、β3 は x3 から x1,x2 の影響を除去した残りの成分で yi に回帰する際の係数であり、「x1,x2 を固定して x3 だけを動かした際の変化率」の意味合いに近い。
このことを説明する際によく用いられるのが、Frisch-Waugh-Lovell(FWL)定理としても知られる残差回帰である。
残差回帰による係数の求め方とその解釈
いきなり残差回帰の一般論に入らず、具体的に冒頭の3変数の重回帰モデルを例に解説を行う。
yi=β0+β1x1,i+β2x2,i+β3x3,i+εi,(i=1,2,...,n)
εi は誤差項である。
この時の最小二乗推定量 β^=(β^0,β^1,β^2,β^3)⊤ は、ストレートには以下のように求められる:
β^0β^1β^2β^3=n∑ix1,i∑ix2,i∑ix3,i∑ix1,i∑ix1,i2∑ix2,ix1,i∑ix3,ix1,i∑ix2,i∑ix1,ix2,i∑ix2,i2∑ix3,ix2,i∑ix3,i∑ix1,ix3,i∑ix2,ix3,i∑ix3,i2−1∑iyi∑ix1,iyi∑ix2,iyi∑ix3,iyi
一方で、次のように求めることもできる。
まず、x3 を x1,x2 で回帰することを考える:
x3,i=δ0+δ1x1,i+δ2x2,i+ϵi
ϵi は、εi とは異なる誤差項である。
この時の係数 δ0,δ1,δ2 の最小二乗推定量を δ^0,δ^1,δ^2 とすると、この線形回帰モデルにおける x3,i の残差は、
x~3,i=x3,i−δ^0−δ^1x1,i−δ^2x2,i
と表すことができる。
ここでさらに、残差 x~3,i で yi に回帰する以下のようなモデルを考える(ηi は誤差項):
yi=γ3x~3,i+ηi.
この時の係数 γ3 の最小二乗推定量は、
γ^3=∑ix~3,i2∑ix~3,iyi=∑i(x3,i−δ^0−δ^1x1,i−δ^2x2,i)2∑i(x3,i−δ^0−δ^1x1,i−δ^2x2,i)yi
のように求まるが、これが重回帰モデルにおける係数 β3 の推定量と一致するのである(β^3=γ^3)。
したがって、係数 β3 は、説明変数 x3,i から残りの説明変数 x1,i,x2,i の影響を差し引いた成分(残差 x~3,i)で yi に回帰した際の係数と解釈することができる。
一般の場合の残差回帰
以下では一般的な形で残差回帰を解説する。
設定
変数が p 個の線形回帰
yi=β1x1,i+β2x2,i+...+βpxp,i+εi,i=1,2,...,nE[εi]=0,E[εiεj]={σ2(i=j)0(i=j)
を、計画行列 X∈Rn×p を用いて以下のように表す:
Y=Xβ+ε(1)
ただし、
Y=y1y2⋮yn,X=x1,1x1,2⋮x1,nx2,1x2,2x2,n.........xp,1xp,2⋮xp,n,
β=(β1,β2,...,βp)⊤,ε=(ε1,ε2,...,εn)⊤.
このとき、 係数 β の最小二乗推定量を β^ は
β^=(X⊤X)−1X⊤Y
のように求まり、これを用いて Y を以下のように表すことができる:
Y=Xβ^+ε^(2)
ただし、残差を ε^=Y−Xβ^ とした。
なお、以降の議論では p≤n かつ rankX=p で X は full-rank であり、逆行列 (X⊤X)−1 が存在するものとする。
Frisch-Waugh-Lovell (FWL) の定理
上記の設定のもと、p 個の説明変数(定数含む)を p1 個と p−p1 個の2グループに分割し、計画行列を X=(X1,X2) のように表す。
つまり、
X1=x1,1x1,2⋮x1,nx2,1x2,2x2,n.........xp1,1xp1,2⋮xp1,n,X2=xp1+1,1xp1+1,2⋮xp1+1,nxp1+2,1xp1+2,2xp1+2,n.........xp,1xp,2⋮xp,n.
こうすることで、式(2) を以下のように書き換えることができる:
Y=X1β^1+X2β^2+ε^.(3)
ただし、
β^=(β^1β^2),β^1,=β^1β^2⋮β^p1,β^2=β^p1+1β^p1+2⋮β^p
このとき、
M1X~2=In−X1(X1⊤X1)−1X1⊤=M1X2
と置く。
すると、後半 p−p1 個の説明変数グループの係数推定量 β^2 は、以下のように求めることができる:
β^2=(X~2⊤X~2)−1X~2⊤Y.(4)
このような係数推定量の求め方を残差回帰と呼ぶほか、上記の関係は Frisch-Waugh-Lovell (FWL) の定理としても知られる。
意味・解釈
X~2 は X2 を X1 で回帰を行った際の残差を意味する。
したがって、式(4) から β^2 は Y を残差 X~2 で回帰した際の係数として解釈できる。
X~2 が X1 による回帰の残差であることは以下のようにして分かる。
回帰モデル
X2=X1δ+ϵ
において、係数 δ の最小二乗推定量 δ^ が
δ^=(X1⊤X1)−1X1⊤X2
のように求められるため、その際の残差は、
X2−X1δ^=X2−X1(X1⊤X1)−1X1⊤X2={In−X1(X1⊤X1)−1X1⊤}X2=M1X2=X~2
となり、確かに X~2 と一致することがわかる。
なお、冒頭の例は、
X1=11⋮1x1,1x1,2⋮x1,nx2,1x2,2x2,n,X2=x3,1x3,2⋮x3,n
とした場合に相当する。
証明
以下では、式(4) が成り立つことを2通りの方法で証明する。
証明1: 正攻法
Y を X1 で回帰した際の係数 δ^ は
δ^=(X1⊤X1)−1X1⊤Y
のように表され、さらにその際の残差 Y~=Y−X1δ^ は、以下のように表すことができる:
Y~={In−X1(X1⊤X1)−1X1⊤}Y=M1Y
ここで、式(3) を代入すると、
Y~=M1(X1β^1+X2β^2+ε^)=M1X2β^2+ε^∵M1X1=0,M1ε^=ε^
となり、さらに M1X2=X~2 であったので、Y~=X~2β^2+ε^ が成り立っていることがわかる。
この両辺に左から X~2⊤ をかけて X~2⊤Y~=X~2⊤X~2β^2 とし、さらに (X~2⊤X~2)−1 を左からかけることで、
β^2=(X~2⊤X~2)−1X~2⊤Y~
が成立することがわかる。
ここで、行列 M1 は対称 M1⊤=M1 かつ冪等 M12=M1 なので、これを利用すると、
X~2⊤Y~=(M1X2)⊤M1Y=X2M1⊤M1Y=X2M1Y=(M1X2)⊤Y=X~2⊤Y
が成り立ち、したがって
β^2=(X~2⊤X~2)−1X~2⊤Y
が示される。
証明2: ブロック行列を用いた方法
推定量 β^ は β^=(X⊤X)−1X⊤Y のように得られたので、以下が成り立つ:
(β^1β^2)={(X1⊤X2⊤)(X1X2)}−1(X1⊤X2⊤)Y=(X1⊤X1X2⊤X1X1⊤X2X2⊤X2)−1(X1⊤YX2⊤Y)
ここで、ブロック化した行列の逆行列について、以下の関係式が成り立つ:
(TVUW)−1=(T−1+T−1UQ−1VT−1−Q−1VT−1−T−1UQ−1Q−1)
ただし、T,W は正方行列、Q=W−VT−1U と定義され、さらに T と Q は逆行列を持つものとする。
https://zenn.dev/link/comments/4f90e72bf8b9b4
これを用いると、
(X1⊤X1X2⊤X1X1⊤X2X2⊤X2)−1=(X1⊤X1)−1+(X1⊤X1)−1X1⊤X2Q−1X2⊤X1(X1⊤X1)−1−Q−1X2⊤X1(X1⊤X1)−1−(X1⊤X1)−1X1⊤X2Q−1Q−1
ただし
Q=X2⊤X2−X2⊤X1(X1⊤X1)−1X1⊤X2=X2⊤{In−X1(X1⊤X1)−1X1⊤}X2=X2⊤M1X2=X2⊤M1⊤M1X2=X~2⊤X~2
のようになる。
したがって、
β^2=−Q−1X2⊤X1(X1⊤X1)−1X1⊤Y+Q−1X2⊤Y=Q−1X2⊤{In−X1(X1⊤X1)−1X1⊤}Y=Q−1X2⊤M1Y=(X~2⊤X~2)−1X~2Y
が示される。
証明2の補足
なお、同様に β^1 についても計算を行うと、
β^1=(X1⊤X1)−1X1⊤Y−(X1⊤X1)−1X1⊤X2(X~2⊤X~2)−1X~2Y=(X1⊤X1)−1X1⊤Y−(X1⊤X1)−1X1⊤X2β^2
が得られる。
特に X1=(1,1,...,1)⊤ の場合、
β^1=n1i=1∑nyi−β^2n1i=1∑nx2,i−β^3n1i=1∑nx3,i−...−β^pn1i=1∑nxp,i=yˉ−β^2xˉ2−β^3xˉ3−...−β^pxˉp
のように、よく見た定数項の求め方になる (yˉ=n1∑iyi, xˉk=n1∑ixk,i)。
なお、このとき残差 X~2 は
X~2=x2,1−xˉ2x2,2−xˉ2⋮x2,n−xˉ2x3,1−xˉ3x3,2−xˉ3x3,n−xˉ3.........xp,1−xˉpxp,2−xˉp⋮xp,n−xˉp
のように各説明変数の平均値を差し引いたものになる。
参考文献
- 高橋将宜、「統計的因果推論の理論と実装」(共立出版、2022)
https://amzn.asia/d/fmchigb
- 浅野皙・中村二朗、「計量経済学」第2版(有斐閣、2009)
https://amzn.asia/d/2xFQebO
- 西山慶彦・新谷元嗣・川口大司・奥井亮、「計量経済学(New Liberal Arts Selection)」(有斐閣、2019)
https://amzn.asia/d/hbZoFo2
Discussion