統計と行列
\boldsymbol{X}^\top \boldsymbol{X} で表される行列の階数
線形回帰では、計画行列
特にモデルを
のように表され、このとき
一般に行列
本投稿では、この関係式が成り立つことを示す。
準備1. そもそも行列の階数 (rank) とはなんだったか?
行列
このとき、列ベクトル
行列
準備2. 行列の核とその次元に関する性質
以下のように行列
このとき、行列
これを示すために、転置行列
直交補空間
階数の定義より
さらにここで、
という関係が成り立つ(補足2)。これを用いると、
が成立し、式(1) が示される。
\boldsymbol{X}^\top \boldsymbol{X} と \boldsymbol{X} の階数が一致することの証明
本論: 以下、
このとき、前述の行列の階数と核の次元の間の関係式(1) により、
が成り立つ。
ここでさらに以下の性質が成り立つ:
これを用いると、
が成り立つ。
なお、
補足
\boldsymbol{A} と転置行列 \boldsymbol{A}^\top の階数が等しいことの証明
1. 行列 転置行列(
これを示すには、列ベクトル空間
このとき、行列
ここで、次元
列階数と行階数は一致するため、
が成り立つ。
列階数と行階数が一致することの証明は、参考文献に挙げた Harville(2006) の第4章 定理4.4.1を参照。
\mathcal{C}(\boldsymbol{A}^\top)^\perp = {\rm Ker} \boldsymbol{A} の証明
2. 引き続き
と表すことにする。
(1°
ここで、列ベクトル空間
任意のベクトル
が成り立つので、直交補空間
が成り立つ。
これを満たすのは
が成り立つ時に限るので、従って核の定義から
以上から、
が成り立つ。
(2°
である。
ここで、列ベクトル空間
このとき先ほどと同様の考え方から、
すると
従って、
以上から、
1°,2° を合わせて、
が成り立つことが示された。
{\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X}) = {\rm Ker} \boldsymbol{X} の証明
3. (1°
が成り立つ。
このとき左から
も成り立つことから、
従って、
(2°
同様に
となる。
ここに左から
となる。
も同時に成り立っていなくてはいけないことがわかる。
従って、
以上 1°, 2° をあわせて、
参考文献
- 永田 靖、統計学のための数学入門30講(2005、朝倉書店)
- D. A. Harville, Matrix Algebra From a Statistician's Perspective (2006, Springer)
- 日本語訳: D. A. ハーヴィル(伊理正夫監訳)、統計のための行列代数 上(丸善、2012)
Moore-Penrose の逆行列について成り立つ極限の関係式
このとき、
なお、
以降、
証明
まずは
行列
ただし、
これを用いると、
ここで、
が成り立つ。
さらに
が成り立つ。これを式(2) に代入すると、
のようになる。
ここで
となるので、確かに
が言えた。
次に
が言えれば良い。そのためにまず以下の等式にまず着目する:
さらに、
以上により、式(1) が示された。
補足
本文中で以下の性質に触れた:
-
が(A^\top A + \delta^2 I_n), \, (AA^\top + \delta^2 I_m) にて非特異\delta >0 -
が(V \Sigma^2 V^\top + \delta^2 I_n) にて非特異\delta >0
これを示すために、まず非負定値行列・正定値行列について説明する。
準備: 非負定値行列・正定値行列とその性質
任意の
が成り立つ。
特に、上記で等号が成立するのが
非負定値行列・正定値行列について、以下の2つの性質が成り立つ:
1. 正定値行列は非特異である
定義より、
である。
ここで
すると
となるベクトル
となるので
以上から、
2. 非負定値行列 + 正定値行列 = 正定値行列 になる
したがって、
が成り立つので、
証明
(A^\top A + \delta^2 I_n), \, (AA^\top + \delta^2 I_m) が \delta >0 にて非特異であることの証明
まず、
このことは、
が成立し、かつ
次に、
からわかる。
以上から、先ほど示したように「非負定値行列 + 正定値行列 = 正定値行列」なので、
従って、
以上と同様にして、
(V \Sigma^2 V^\top + \delta^2 I_n) が \delta >0 にて非特異であることの証明
これも先ほどとほぼ同様に、
であることから示すことができる。
以上で、
参考文献
- D. A. Harville, Matrix Algebra From a Statistician's Perspective (2006, Springer)
- 日本語訳: D. A. ハーヴィル(伊理正夫監訳)、統計のための行列代数 上・下(丸善、2012)
ブロック化した行列の逆行列
この時、
と表すことができる。
発見的導出
以降では、
大まかには以下の手順で
- 行列
を以下のようにブロック化した三角行列の積の形で表す\boldsymbol{A}
- 以下の関係式を用いて、式(2)の逆行列を求める
\boldsymbol{A} をブロック化した三角行列の積の形で表す
1. 行列 これを整理して、
つまり、
のように表すことができる。
\boldsymbol{A} の逆行列を求める
2. 式(3), (4) を用いて 先ほどの結果をもとに、
と表せる(ただし
ここで、式(3), (4) を用いると、
となることから、これらを代入し、
が得られる。
補足
シューア補行列
行列
式(5) の変形
以下のように表すこともできる:
参考文献
- D. A. Harville, Matrix Algebra From a Statistician's Perspective (2006, Springer)
- 日本語訳: D. A. ハーヴィル(伊理正夫監訳)、統計のための行列代数 上(丸善、2012)
適合度検定の式の導出時に現れる分散共分散行列を対角化する
ただし
また、
ここで、以下のように
このとき
以下、直交行列
導出
ただし、
まず、
と書き下せるが、ここで
である。
他の列についても、
となり
したがって
最後に再び直交条件に注意しつつ
となり、式(1)が示された。
冪等な行列の性質
対称な正方行列
自明な例を挙げると、単位行列
冪等な行列では、以下の性質が成り立つ:
- 行列
が冪等であることと固有値が全て0 or 1であることは同値\boldsymbol{A} - 冪等な行列の trace は rank と一致する(
){\rm tr}\, \boldsymbol{A} = {\rm rank}\,\boldsymbol{A}
冪等行列と固有値の必要十分条件
以下、「行列
\Leftarrow の証明)
(「行列
ただし、
このとき、
となることから、「行列
\Rightarrow の証明)
(「行列
このとき、
であると同時に、冪等生の定義
も成り立たなくてはいけない。
したがって、
冪等な行列では rank と trace が一致することの証明
上記で見たように、行列
ただし、
したがってこのとき
ここで、
従って、
が成り立つ。
参考文献
- 佐和隆光、回帰分析(新装版) (統計ライブラリー、朝倉書店、2020)