線形回帰の復習
線形回帰のベクトル・行列による表現
設定
以下のような
ここで、
のようにおいた。
なお、誤差項
観測値の行列を用いた表現
とすると、回帰式は以下のように表せる:
p=2 (一変数、単回帰)の場合
例: の場合を考える。このとき、
であるので、
線形回帰における係数推定量のベクトル・行列による表現
回帰式
が与えられた際の係数
この時、説明変数
また、このとき推定量
特に誤差項
p=2 (一変数、単回帰)の場合
例:の場合を考える。
係数推定量
このとき、
であるので、
これを
が得られる(
これを整理すると、
ただし、
係数推定量の分散・共分散
前述のように
であったので、これを
係数推定量の分布
以上を
導出・証明
(1) の導出
残差二乗和は以下のように表される:
これを
のようになる。
1行目から2行目では、
2行目から3行目では、以下のベクトルによる微分の関係式を適用した:
より、
を解いて、
(2) の証明
ここで、
(3)の証明
補足
一般の
であるので、
のように表される。
Ridge 回帰とその推定量の性質
以下の投稿で書いたように、線形回帰
のように表すことができた。
しかし、上記の式が成立するためには、
一方、Ridge 回帰では、
本投稿では Ridge 回帰とその推定量の性質について解説する。
結果
サンプルサイズを
このとき、
Ridge 回帰による 係数
この推定量は、
なお、
Ridge 回帰の概要
Ridge 回帰では、推定量を求める際に残差二乗和
を最小化する。
こうすることで、
Ridge 回帰による推定量の導出
上記の正則化項付きの損失関数
これを示すために、
従ってこのとき、
が成り立つ。
ここで、行列
Ridge 回帰推定量の期待値
通常の最小二乗推定では、推定量
しかし、Ridge 回帰による推定量
まず、式(2) の右辺に
この両辺について期待値をとると、
以上から、
参考: Ridge 回帰推定量の分散
参考までに、Ridge 回帰推定量
式(3) より、
となる。
2行目から3行目での変形では、
であることを用いた。
後者については、
残差二乗和の統計的性質と誤差項分散
以下のような線形回帰モデルを考える:
ここで、
誤差項
計画行列
これを用いて、残差
以降、
\hat{\boldsymbol{\varepsilon}}^\top\hat{\boldsymbol{\varepsilon}} の統計的性質
残差二乗和 残差二乗和
とおくと、
特に誤差項
が成り立つ。
カイ二乗分布
なお、
証明
\boldsymbol{M}_X の性質
準備: 射影行列 行列
- 射影行列
は対称行列である。\boldsymbol{M}_X
証明
- 射影行列
は冪等である。\boldsymbol{M}_X
証明
- 射影行列
の階数は\boldsymbol{M}_X である。{\rm rank}\, \boldsymbol{M}_X = n-p
証明
と表せる。ここで、
であり、さらに
が成り立つことから、[1]
のように表すことができる。
ここで、
が成り立つ(証明は後述)。
これを用いると
が成り立つことから、
が示された。
以降、
なぜなら、
次に
そのためには、
ここで、
が成り立つ。
従って、
となるため、
以上より
- 射影行列
は正規直交行列\boldsymbol{M}_X を用いて固有値分解でき、さらにその固有値のうち\boldsymbol{P} 個は1、残りのn-p 個は0となる。p
証明
このとき、
であり、さらに
が成り立つため、固有値
さらに前述の
- 射影行列
の trace は\boldsymbol{M}_X となる。{\rm tr}\, \boldsymbol{M}_X = n-p
証明
先ほどのように
と表せる。
対角行列
このことから、
s^2 が誤差項分散の不偏推定量になることの証明
であるので、
が成り立つ。
ここで、
が成立し、さらに
以上から、
従って、
となる。
標準化した誤差項二乗和がカイ二乗分布に従うことの証明
次に、誤差項分散
そこで、
ただし、
ここで、
途中、
したがって、
このことから、
であり、以上から
が成立することがわかる。
参考文献
- 佐和隆光、回帰分析(新装版) (統計ライブラリー、朝倉書店、2020)
- J.D.Hamilton, Time Series Analysis (Princeton Univ Pr, 1994)