$\boldsymbol{X}^\top \boldsymbol{X}$ で表される行列の階数

線形回帰では、計画行列 $\boldsymbol{X}$ とその転置を掛け合わせた $\boldsymbol{X}^\top \boldsymbol{X}$ の形の行列をよく目にする。
https://zenn.dev/tatamiya/scraps/69c02604543ae5

特にモデルを $\boldsymbol{Y} = \boldsymbol{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}$ と表したとき、最小二乗法によるパラメータ推定量は

$$\hat{\boldsymbol{\beta}} = \left( \boldsymbol{X}^\top \boldsymbol{X} \right)^{-1} \boldsymbol{X}^\top \boldsymbol{Y}$$

のように表され、このとき $\boldsymbol{X}^\top \boldsymbol{X}$ に逆行列が存在するかを判断するうえで、行列$\boldsymbol{X}^\top \boldsymbol{X}$ の階数（rank）が問題になる。

一般に行列 $\boldsymbol{X}$ が与えられた時に、$\boldsymbol{X}^\top \boldsymbol{X}$ の階数は $\boldsymbol{X}$ の階数と一致することが知られている：

$${\rm rank} \, (\boldsymbol{X}^\top \boldsymbol{X}) = {\rm rank}\boldsymbol{X}.$$

本投稿では、この関係式が成り立つことを示す。

準備1. そもそも行列の階数 (rank) とはなんだったか？

行列 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ を、列ベクトル $\{\boldsymbol{a}_i\}_{i=1}^n, \, \boldsymbol{a}_i \in \mathbb{R}^m$ を用いて以下のように表す：

$$\boldsymbol{A} = (\boldsymbol{a}_1, \boldsymbol{a}_2, ..., \boldsymbol{a}_n)$$

このとき、列ベクトル $\{ \boldsymbol{a}_1, \boldsymbol{a}_2, ..., \boldsymbol{a}_n \}$ の張る空間を行列 $\boldsymbol{A}$ の列ベクトル空間と呼び、$\mathcal{C}(\boldsymbol{A})$ と表す。

行列 $\boldsymbol{A}$ の（列）階数は、列ベクトル空間 $\mathcal{C}(\boldsymbol{A})$ の次元として定義される：

$${\rm rank} \boldsymbol{A} = {\rm dim} \, \mathcal{C}(\boldsymbol{A}).$$

準備2. 行列の核とその次元に関する性質

以下のように行列 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ をかけると $\boldsymbol{0}$ になるベクトル $\boldsymbol{x} \in \mathbb{R}^n$ で張られる空間を、行列 $\boldsymbol{A}$ の核と呼び ${\rm Ker} \boldsymbol{A}$ と表す：

$${\rm Ker} \boldsymbol{A} = \{ \boldsymbol{x}; \boldsymbol{A} \boldsymbol{x} = \boldsymbol{0}, \, \boldsymbol{x} \} \subset \mathbb{R}^n$$

このとき、行列 $\boldsymbol{A}$ の階数と核 ${\rm Ker} \boldsymbol{A}$ の次元との間に以下のような性質が成り立つ：

$${\rm rank} \boldsymbol{A} = n - {\rm dim} \, {\rm Ker} \boldsymbol{A}. \tag{1}$$

これを示すために、転置行列 $\boldsymbol{A}^\top \in \mathbb{R}^{n \times m}$ の列空間 $\mathcal{C}(\boldsymbol{A}^\top) \subset \mathbb{R}^n$ とその直交補空間 $\mathcal{C}(\boldsymbol{A}^\top)^\perp \subset \mathbb{R}^n$ を考える。

直交補空間 $\mathcal{C}(\boldsymbol{A}^\top)^\perp$ とは、$\mathcal{C}(\boldsymbol{A}^\top)$ に属するベクトルとの内積が0になるようなベクトルのなす空間であり、両者の次元の和はこれらを包含する空間 $\mathbb{R}^n$ の次元 $n$ と一致する：

$${\rm dim} \, \mathcal{C}(\boldsymbol{A}^\top) + {\rm dim} \, \mathcal{C}(\boldsymbol{X}^\top)^\perp = n.$$

階数の定義より ${\rm dim} \, \mathcal{C}(\boldsymbol{A}^\top) = {\rm rank}\boldsymbol{A}^\top$ であり、また転置しても行列の階数は変わらないこと ${\rm rank}\boldsymbol{A}^\top = {\rm rank}\boldsymbol{A}$ （補足1参照）から、上記は以下のように書き換えられる：

$${\rm rank}\boldsymbol{A} + {\rm dim} \, \mathcal{C}(\boldsymbol{X}^\top)^\perp = n$$

さらにここで、

$$\mathcal{C}(\boldsymbol{A^\top})^\perp = {\rm Ker} \boldsymbol{A}$$

という関係が成り立つ（補足2）。これを用いると、

$${\rm rank}\boldsymbol{A} + {\rm dim} \, {\rm Ker} \boldsymbol{A} = n$$

が成立し、式(1) が示される。

本論： $\boldsymbol{X}^\top \boldsymbol{X}$ と $\boldsymbol{X}$ の階数が一致することの証明

以下、$\boldsymbol{X}$ を $n \times p$ 行列とする（$\boldsymbol{X} \in \mathbb{R}^{n \times p}$）。
$\boldsymbol{X}^\top \boldsymbol{X}$ は $p \times p$ の正方行列である（$\boldsymbol{X}^\top \boldsymbol{X} \in \mathbb{R}^{p \times p}$）。

このとき、前述の行列の階数と核の次元の間の関係式(1) により、

$$\begin{aligned} {\rm rank} \boldsymbol{X} &= p - {\rm dim} \, {\rm Ker} \boldsymbol{X}\\ {\rm rank} \, (\boldsymbol{X}^\top \boldsymbol{X}) &= p - {\rm dim} \, {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X}) \end{aligned}$$

が成り立つ。

ここでさらに以下の性質が成り立つ：

$${\rm Ker} \boldsymbol{X} = {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X}).$$

これを用いると、${\rm dim} \, {\rm Ker} \boldsymbol{X} = {\rm dim} {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X})$ であるので、

$${\rm rank} \, (\boldsymbol{X}^\top \boldsymbol{X}) = {\rm rank} \boldsymbol{X}$$

が成り立つ。

なお、${\rm Ker} \boldsymbol{X} = {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X})$ は補足3にて示す。

補足

1. 行列 $\boldsymbol{A}$ と転置行列 $\boldsymbol{A}^\top$ の階数が等しいことの証明

転置行列($\boldsymbol{A}^\top$)と元の行列($\boldsymbol{A}$) は階数が等しい：

$${\rm rank} \boldsymbol{A}^\top = {\rm rank} \boldsymbol{A}.$$

これを示すには、列ベクトル空間 $\mathcal{C}(\boldsymbol{A})$ と同様に、行列 $\boldsymbol{A}$ を構成する行ベクトルの張る空間 $\mathcal{R}(\boldsymbol{A})$ （行ベクトル空間）を考える。

このとき、行列 $\boldsymbol{A}$ の行ベクトル空間は、転置行列 $\boldsymbol{A}^\top$ の列ベクトル空間と一致する（$\mathcal{R}(\boldsymbol{A}) = \mathcal{C}(\boldsymbol{A}^\top)$）。

ここで、次元 ${\rm dim} \, \mathcal{R}(\boldsymbol{A})$ を行列 $\boldsymbol{A}$ の行階数と定義すると、
列階数と行階数は一致するため、

$${\rm rank} \boldsymbol{A}^\top = {\rm dim} \, \mathcal{C}(\boldsymbol{A}^\top) = {\rm dim} \, \mathcal{R}(\boldsymbol{A}) = {\rm dim} \, \mathcal{C}(\boldsymbol{A}) = {\rm rank} \boldsymbol{A}$$

が成り立つ。

列階数と行階数が一致することの証明は、参考文献に挙げた Harville(2006) の第4章 定理4.4.1を参照。

2. $\mathcal{C}(\boldsymbol{A}^\top)^\perp = {\rm Ker} \boldsymbol{A}$ の証明

引き続き $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ とし、また、転置行列 $\boldsymbol{A}^\top \in \mathbb{R}^{n \times m}$ を列ベクトル $\boldsymbol{a}^{(\top)}_i \in \mathbb{R}^n$ を用いて

$$\boldsymbol{A}^\top = (\boldsymbol{a}^{(\top)}_1, \boldsymbol{a}^{(\top)}_2, ..., \boldsymbol{a}^{(\top)}_m)$$

と表すことにする。

（1° $\mathcal{C}(\boldsymbol{A}^\top)^\perp \subseteq {\rm Ker} \boldsymbol{A}$）

$\boldsymbol{x}_0 \in \mathcal{C}(\boldsymbol{A}^\top)^\perp$ とする。

ここで、列ベクトル空間 $\mathcal{C}(\boldsymbol{A}^\top)$ の定義より、
任意のベクトル $\boldsymbol{y} = (y_1, y_2, ..., y_m)^\top \in \mathbb{R}^m$ に対して、

$$\boldsymbol{A}^\top \boldsymbol{y} = \boldsymbol{a}^{(\top)}_1 y_1 + \boldsymbol{a}^{(\top)}_2 y_2 + ... \boldsymbol{a}^{(\top)}_m y_m \in \mathcal{C}(\boldsymbol{A}^\top)$$

が成り立つので、直交補空間 $\mathcal{C}(\boldsymbol{A}^\top)^\perp$ の定義から

$$\boldsymbol{x}_0^\top \boldsymbol{A}^\top \boldsymbol{y} = 0$$

が成り立つ。
$\boldsymbol{x}_0^\top \boldsymbol{A}^\top \boldsymbol{y} = (\boldsymbol{A} \boldsymbol{x}_0)^\top \boldsymbol{y}$ と表すことができるので、これは $(\boldsymbol{A} \boldsymbol{x}_0)^\top \boldsymbol{y} = 0$ がいかなる $\boldsymbol{y}\in\mathbb{R}^m$ においても成り立たなくてはいけないことを意味する。

これを満たすのは

$$\boldsymbol{A} \boldsymbol{x}_0 = \boldsymbol{0}$$

が成り立つ時に限るので、従って核の定義から $\boldsymbol{x}_0 \in {\rm Ker} \boldsymbol{A}$。

以上から、$\boldsymbol{x}_0 \in \mathcal{C}(\boldsymbol{A}^\top)^\perp \Rightarrow \boldsymbol{x}_0 \in {\rm Ker} \boldsymbol{A}$ であるので、

$$\mathcal{C}(\boldsymbol{A}^\top)^\perp \subseteq {\rm Ker} \boldsymbol{A}$$

が成り立つ。

（2° ${\rm Ker} \boldsymbol{A} \subseteq \mathcal{C}(\boldsymbol{A}^\top)^\perp$）

$\boldsymbol{x}_0 \in {\rm Ker} \boldsymbol{A}$ とする。この時定義より、

$$\boldsymbol{A} \boldsymbol{x}_0 = \boldsymbol{0}$$

である。

ここで、列ベクトル空間 $\mathcal{C}(\boldsymbol{A}^\top)$ に属する任意のベクトル $\boldsymbol{x}_a$ を考える。

このとき先ほどと同様の考え方から、$\boldsymbol{x}_a = \boldsymbol{A}^\top \boldsymbol{y}$ と表せるベクトル $\boldsymbol{y} = (y_1, y_2, ..., y_m)^\top \in \mathbb{R}^m$ が必ず存在する。

すると $\boldsymbol{x}_0$ と $\boldsymbol{x}_a$ の内積は以下のように常に0になる：

$$\boldsymbol{x}_0^\top \boldsymbol{x}_a = \boldsymbol{x}_0^\top \boldsymbol{A}^\top \boldsymbol{y} = (\boldsymbol{A} \boldsymbol{x}_0)^\top \boldsymbol{y} = \boldsymbol{0}^\top \boldsymbol{y} = 0.$$

従って、$\boldsymbol{x}_0 \in {\rm Ker} \boldsymbol{A}$ は任意のベクトル $\boldsymbol{x}_a \in \mathcal{C}(\boldsymbol{A}^\top)$ と直交するので、定義より $\boldsymbol{x}_0 \in \mathcal{C}(\boldsymbol{A}^\top)^\perp$ でなくてはならない。

以上から、

$${\rm Ker} \boldsymbol{A} \subseteq \mathcal{C}(\boldsymbol{A}^\top)^\perp.$$

1°,2° を合わせて、

$$\mathcal{C}(\boldsymbol{A}^\top)^\perp = {\rm Ker} \boldsymbol{A}$$

が成り立つことが示された。

3. ${\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X}) = {\rm Ker} \boldsymbol{X}$ の証明

（1° ${\rm Ker} \boldsymbol{X} \subseteq {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X})$）

$\boldsymbol{x}_0 \in {\rm Ker} \boldsymbol{X}$ とすると、定義より

$$\boldsymbol{X} \boldsymbol{x}_0 = \boldsymbol{0}$$

が成り立つ。
このとき左から $\boldsymbol{X}^\top$ をかけることで

$$\boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{x}_0 = \boldsymbol{0}$$

も成り立つことから、$\boldsymbol{x}_0 \in {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X})$ も同時に成立していることがわかる。

従って、${\rm Ker} \boldsymbol{X} \subseteq {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X})$ である。

（2° ${\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X}) \subseteq {\rm Ker} \boldsymbol{X}$）

同様に $\boldsymbol{x}_0 \in {\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X})$ とすると、定義より

$$\boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{x}_0 = \boldsymbol{0}$$

となる。
ここに左から $\boldsymbol{x}_0^\top$ をかけることで、

$$\boldsymbol{x}_0^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{x}_0 = 0$$

となる。
$\boldsymbol{x}_0^\top \boldsymbol{X}^\top \boldsymbol{X} \boldsymbol{x}_0 = \left( \boldsymbol{X} \boldsymbol{x}_0 \right)^2$ であるので、従って

$$\boldsymbol{X} \boldsymbol{x}_0 = \boldsymbol{0}$$

も同時に成り立っていなくてはいけないことがわかる。

従って、${\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X}) \subseteq {\rm Ker} \boldsymbol{X}$.

以上 1°, 2° をあわせて、${\rm Ker} (\boldsymbol{X}^\top \boldsymbol{X}) = {\rm Ker} \boldsymbol{X}$ であることが示された。

参考文献

• 永田 靖、統計学のための数学入門30講（2005、朝倉書店）

https://amzn.asia/d/4GenSWZ

• D. A. Harville, Matrix Algebra From a Statistician's Perspective (2006, Springer)
  • 日本語訳： D. A. ハーヴィル（伊理正夫監訳）、統計のための行列代数 上（丸善、2012）

https://amzn.asia/d/eFLLrNg
https://amzn.asia/d/h5awcqR

Moore-Penrose の逆行列について成り立つ極限の関係式

$A \in \mathbb{R}^{m \times n}$ を $m \times n$ 行列とする。
このとき、$A^\top A, AA^\top$ に逆行列が存在するか関係なく以下の関係式が成り立つ：

$$\lim_{\delta \to 0}(A^\top A + \delta^2 I_n)^{-1} A^\top = \lim_{\delta \to 0}A^\top (AA^\top + \delta^2 I_m)^{-1} = A^+ \tag{1}$$

なお、$A^+$ は Moore-Penrose の逆行列である：

https://zenn.dev/link/comments/55b4e93894792a

以降、$n \times n$ の単位行列を $I_n$ のように表す。

証明

まずは $\lim_{\delta \to 0}(A^\top A + \delta^2 I_n)^{-1} A^\top = A^+$ から示す。

行列 $A$ の階数を $r$（${\rm rank}A = r$）としたとき、特異値分解により $A$ を以下のように表すことができる：

https://zenn.dev/link/comments/a5727c38a6fb31

$$A = U \Sigma V^\top$$

ただし、

$$U \in \mathbb{R}^{m \times r}, \quad U^\top U = I_r,\\ V \in \mathbb{R}^{n \times r}, \quad V^\top V = I_r,\\ \Sigma = {\rm diag}\left( \sqrt{\lambda_1}, \sqrt{\lambda_2}, ..., \sqrt{\lambda_r}\right) \in \mathbb{R}^{r \times r}.$$

これを用いると、

$$\begin{aligned} (A^\top A + \delta^2 I_n)^{-1} A^\top &= (V \Sigma^\top U^\top U \Sigma V^\top + \delta^2 I_n)^{-1} V \Sigma^\top U^\top\\ &= (V \Sigma^2 V^\top + \delta^2 I_n)^{-1} V \Sigma U^\top. \\ &\quad (\because U^\top U = I_r, \, \Sigma^\top = \Sigma) \tag{2} \end{aligned}$$

ここで、

$$\begin{aligned} (V \Sigma^2 V^\top + \delta^2 I_n) V &= V \Sigma^2 V^\top V + \delta^2 V\\ &= V \Sigma^2 I_r + \delta^2 V I_r \qquad (\because V^\top V = I_r)\\ &= V(\Sigma^2 + \delta^2 I_r) \end{aligned}$$

が成り立つ。
さらに $(V \Sigma^2 V^\top + \delta^2 I_n)$ と $(\Sigma^2 + \delta^2 I_r)$ はともに非特異で逆行列を持つので（補足参照）、上記の式の両辺に左から $(V \Sigma^2 V^\top + \delta^2 I_n)^{-1}$、右から $(\Sigma^2 + \delta^2 I_r)^{-1}$ をかけることで、

$$(V \Sigma^2 V^\top + \delta^2 I_n)^{-1} V = V(\Sigma^2 + \delta^2 I_r)^{-1}$$

が成り立つ。これを式(2) に代入すると、

$$(A^\top A + \delta^2 I_n)^{-1} A^\top = V(\Sigma^2 + \delta^2 I_r)^{-1} \Sigma U^\top$$

のようになる。
ここで

$$\lim_{\delta \to 0} V(\Sigma^2 + \delta^2 I_r)^{-1} \Sigma U^\top = V \Sigma^{-1} U^\top = A^+$$

となるので、確かに

$$\lim_{\delta \to 0} (A^\top A + \delta^2 I_n)^{-1} A^\top = A^+$$

が言えた。

次に $\lim_{\delta \to 0}A^\top (AA^\top + \delta^2 I_m)^{-1} = A^+$ を示すが、そのためには

$$(A^\top A + \delta^2 I_n)^{-1} A^\top = A^\top (AA^\top + \delta^2 I_m)^{-1} \tag{3}$$

が言えれば良い。そのためにまず以下の等式にまず着目する：

$$\begin{aligned} (A^\top A + \delta^2 I_n) A^\top &= A^\top A A^\top + \delta^2 A^\top\\ &= A^\top (AA^\top + \delta^2 I_m). \end{aligned}$$

さらに、$(A^\top A + \delta^2 I_n)$ と $(AA^\top + \delta^2 I_m)$ はともに非特異で逆行列を持つので、先ほどと同様に上記の式の両辺に左から $(A^\top A + \delta^2 I_n)^{-1}$ を、右から $(AA^\top + \delta^2 I_m)^{-1}$ をかけることで、確かに式(3)が得られる。

以上により、式(1) が示された。

補足

本文中で以下の性質に触れた：

• $(A^\top A + \delta^2 I_n), \, (AA^\top + \delta^2 I_m)$ が $\delta >0$ にて非特異
• $(V \Sigma^2 V^\top + \delta^2 I_n)$ が $\delta >0$ にて非特異

これを示すために、まず非負定値行列・正定値行列について説明する。

準備： 非負定値行列・正定値行列とその性質

$n \times n$ の正方行列 $A \in \mathbb{R}^{n \times n}$ が以下の性質を持つ時、$A$ は非負定値行列という：

任意の$n$ 次元ベクトル $\boldsymbol{x} \in \mathbb{R}^n$ において、

$$\boldsymbol{x}^\top A \boldsymbol{x} \ge 0$$

が成り立つ。

特に、上記で等号が成立するのが $\boldsymbol{x} = \boldsymbol{0}$ の時に限られる場合、正定値行列と呼ぶ。

非負定値行列・正定値行列について、以下の2つの性質が成り立つ：

1. 正定値行列は非特異である

$A \in \mathbb{R}^{n \times n}$ が正定値行列とする。このとき ${\rm rank} A = n$ を示せばよい。

定義より、

$$\boldsymbol{x}^\top A \boldsymbol{x} > 0 \quad \forall \boldsymbol{x} \ne \boldsymbol{0}$$

である。

ここで $A$ が非特異で ${\rm rank} A < n$ であると仮定する。
すると$A$ を構成する列ベクトルが一次従属になるので、

$$A \boldsymbol{v} = \boldsymbol{0}$$

となるベクトル $\boldsymbol{v} \ne \boldsymbol{0}$ が存在しなくてはいけない。すると、

$$\boldsymbol{v}^\top A \boldsymbol{v} = 0$$

となるので $A$ が正定値行列であることに矛盾する。

以上から、$A$ が正定値行列なら full-rank、つまり非特異でなくてはいけない。

2. 非負定値行列 + 正定値行列 = 正定値行列 になる

$A$ を正定値行列、$B$ を非負定値行列と置く。つまり、

$$\boldsymbol{x}^\top A \boldsymbol{x} > 0 \quad \forall \boldsymbol{x} \ne \boldsymbol{0}$$

$$\boldsymbol{x}^\top B \boldsymbol{x} \ge 0 \quad \forall \boldsymbol{x} \ne \boldsymbol{0}$$

したがって、

$$\boldsymbol{x}^\top (A + B) \boldsymbol{x} > 0 \quad \forall \boldsymbol{x} \ne \boldsymbol{0}$$

が成り立つので、$A + B$ は確かに正定値行列である。

証明

$(A^\top A + \delta^2 I_n), \, (AA^\top + \delta^2 I_m)$ が $\delta >0$ にて非特異であることの証明

$(A^\top A + \delta^2 I_n)$ が正定値行列であることを示せばよい。

まず、$\delta^2 I_n$ は $\delta >0$ のとき正定値行列である。
このことは、$\boldsymbol{x} \in \mathbb{R}^{n}$ を用いて

$$\boldsymbol{x}^\top (\delta^2 I_n) \boldsymbol{x} = \delta^2 \sum_{i=1}^n x_i^2 \ge 0$$

が成立し、かつ $\delta > 0$ であれば等号成立が $x_1 = x_2 = ... = x_n=0$ つまり $\boldsymbol{x} = \boldsymbol{0}$ の時に限ることからわかる。

次に、$A^\top A$ は非負定値行列である。これは、

$$\begin{aligned} \boldsymbol{x}^\top A^\top A \boldsymbol{x} &= (A\boldsymbol{x})^\top (A\boldsymbol{x}) \\ &= || A\boldsymbol{x} ||^2 \ge 0 \end{aligned}$$

からわかる。

以上から、先ほど示したように「非負定値行列 + 正定値行列 = 正定値行列」なので、$(A^\top A + \delta^2 I_n)$ が正定値行列であることがわかった。

従って、$(A^\top A + \delta^2 I_n)$ は非特異である。

以上と同様にして、$(AA^\top + \delta^2 I_m)$ も $\delta >0$ で正定値行列となり非特異であることも証明できる。

$(V \Sigma^2 V^\top + \delta^2 I_n)$ が $\delta >0$ にて非特異であることの証明

これも先ほどとほぼ同様に、$V \Sigma^2 V^\top$ が非負定値行列であることがわかれば $(V \Sigma^2 V^\top + \delta^2 I_n)$ が $\delta>0$ で正定値行列となり、題意が示される。

$V \Sigma^2 V^\top$ が非負定値行列であることは、$\boldsymbol{x} \in \mathbb{R}^n$ とおくと

$$\begin{aligned} \boldsymbol{x}^\top V \Sigma^2 V^\top \boldsymbol{x} &= \boldsymbol{x}^\top (V^\top)^\top \Sigma \Sigma V^\top \boldsymbol{x}\\ &= (\Sigma V^\top \boldsymbol{x})^\top (\Sigma V^\top \boldsymbol{x})\\ &= || \Sigma V^\top \boldsymbol{x} ||^2 \ge 0 \end{aligned}$$

であることから示すことができる。

以上で、$(V \Sigma^2 V^\top + \delta^2 I_n)$ が $\delta >0$ にて非特異であることも示された。

参考文献

• D. A. Harville, Matrix Algebra From a Statistician's Perspective (2006, Springer)
  • 日本語訳： D. A. ハーヴィル（伊理正夫監訳）、統計のための行列代数 上・下（丸善、2012）

https://amzn.asia/d/eFLLrNg

https://amzn.asia/d/h5awcqR

https://amzn.asia/d/fRgKunk

ブロック化した行列の逆行列

$n \times n$ の正方行列 $\boldsymbol{A} \in \mathbb{R}^{n\times n}$ が、行列 $\boldsymbol{T} \in \mathbb{R}^{n_1\times n_1}, \, \boldsymbol{U} \in \mathbb{R}^{n_1\times n_2}, \, \boldsymbol{V} \in \mathbb{R}^{n_2\times n_1}, \, \boldsymbol{W} \in \mathbb{R}^{n_2\times n_2}$ （ただし $n_1 + n_2 = n$）を用いて以下のように表すことができたとする。

$$\boldsymbol{A} = \begin{pmatrix} \boldsymbol{T} & \boldsymbol{U}\\ \boldsymbol{V} & \boldsymbol{W} \end{pmatrix}$$

この時、$\boldsymbol{A}$ が逆行列を持つための条件は $\boldsymbol{T}$ と $\boldsymbol{Q} = \boldsymbol{W} - \boldsymbol{V} \boldsymbol{T}^{-1} \boldsymbol{U}$ が逆行列を持つことであり、さらにこのとき

$$\boldsymbol{A}^{-1} = \begin{pmatrix} \boldsymbol{T}^{-1} + \boldsymbol{T}^{-1} \boldsymbol{U} \boldsymbol{Q}^{-1} \boldsymbol{V} \boldsymbol{T}^{-1} & - \boldsymbol{T}^{-1}\boldsymbol{U}\boldsymbol{Q}^{-1}\\ - \boldsymbol{Q}^{-1} \boldsymbol{V} \boldsymbol{T}^{-1} & \boldsymbol{Q}^{-1} \tag{1} \end{pmatrix}$$

と表すことができる。

発見的導出

以降では、$\boldsymbol{I}_m$ を $m \times m$ の単位行列とする。

大まかには以下の手順で $\boldsymbol{A}$ の逆行列を求める：

1. 行列 $\boldsymbol{A}$ を以下のようにブロック化した三角行列の積の形で表す

$$\boldsymbol{A} = \begin{pmatrix} \boldsymbol{L}_1 & \boldsymbol{0}\\ \boldsymbol{L}_2 & \boldsymbol{L}_3 \end{pmatrix} \begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{L}_4\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix} \tag{2}$$

2. 以下の関係式を用いて、式(2)の逆行列を求める

$$\boldsymbol{A}^{-1} = \begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{L}_4\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix}^{-1} \begin{pmatrix} \boldsymbol{L}_1 & \boldsymbol{0}\\ \boldsymbol{L}_2 & \boldsymbol{L}_3 \end{pmatrix}^{-1}$$

$$\begin{pmatrix} \boldsymbol{L}_1 & \boldsymbol{0}\\ \boldsymbol{L}_2 & \boldsymbol{L}_3 \end{pmatrix}^{-1} = \begin{pmatrix} \boldsymbol{L}_1^{-1} & \boldsymbol{0}\\ - \boldsymbol{L}_3^{-1} \boldsymbol{L}_2 \boldsymbol{L}_1^{-1} & \boldsymbol{L}_3^{-1} \tag{3} \end{pmatrix}$$

$$\begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{L}_4\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix}^{-1} = \begin{pmatrix} \boldsymbol{I}_{n_1} & -\boldsymbol{L}_4\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \tag{4} \end{pmatrix}$$

1. 行列 $\boldsymbol{A}$ をブロック化した三角行列の積の形で表す

$\boldsymbol{A}$ を式(2) の形で表したとすると、$\boldsymbol{L}_1, \, \boldsymbol{L}_2, \, \boldsymbol{L}_3, \, \boldsymbol{L}_4$ は $\boldsymbol{T}, \, \boldsymbol{U}, \, \boldsymbol{V}, \, \boldsymbol{W}$ と以下のような関係にある：

$$\begin{pmatrix} \boldsymbol{T} & \boldsymbol{U}\\ \boldsymbol{V} & \boldsymbol{W} \end{pmatrix} = \begin{pmatrix} \boldsymbol{L}_1 & \boldsymbol{L}_1 \boldsymbol{L}_4\\ \boldsymbol{L}_2 & \boldsymbol{L}_2 \boldsymbol{L}_4 + \boldsymbol{L}_3 \end{pmatrix}$$

これを整理して、

$$\begin{aligned} \boldsymbol{L}_1 &= \boldsymbol{T}\\ \boldsymbol{L}_2 &= \boldsymbol{V}\\ \boldsymbol{L}_3 &= \boldsymbol{W} - \boldsymbol{V}\boldsymbol{T}^{-1} \boldsymbol{U}\\ \boldsymbol{L}_4 &= \boldsymbol{T}^{-1} \boldsymbol{U} \end{aligned}$$

つまり、

$$\boldsymbol{A} = \begin{pmatrix} \boldsymbol{T} & \boldsymbol{0}\\ \boldsymbol{V} & \boldsymbol{W} - \boldsymbol{V}\boldsymbol{T}^{-1} \boldsymbol{U} \end{pmatrix} \begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{T}^{-1} \boldsymbol{U}\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix} \tag{5}$$

のように表すことができる。

2. 式(3), (4) を用いて $\boldsymbol{A}$ の逆行列を求める

先ほどの結果をもとに、

$$\boldsymbol{A}^{-1} = \begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{T}^{-1} \boldsymbol{U}\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix}^{-1} \begin{pmatrix} \boldsymbol{T} & \boldsymbol{0}\\ \boldsymbol{V} & \boldsymbol{Q} \end{pmatrix}^{-1}$$

と表せる（ただし $\boldsymbol{Q} = \boldsymbol{W} - \boldsymbol{V}\boldsymbol{T}^{-1} \boldsymbol{U}$）。

ここで、式(3), (4) を用いると、

$$\begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{T}^{-1} \boldsymbol{U}\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix}^{-1} = \begin{pmatrix} \boldsymbol{I}_{n_1} & -\boldsymbol{T}^{-1} \boldsymbol{U}\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix}$$

$$\begin{pmatrix} \boldsymbol{T} & \boldsymbol{0}\\ \boldsymbol{V} & \boldsymbol{Q} \end{pmatrix}^{-1} = \begin{pmatrix} \boldsymbol{T}^{-1} & \boldsymbol{0}\\ -\boldsymbol{Q}^{-1}\boldsymbol{V}\boldsymbol{T}^{-1} & \boldsymbol{Q}^{-1} \end{pmatrix}$$

となることから、これらを代入し、

$$\boldsymbol{A}^{-1} = \begin{pmatrix} \boldsymbol{T}^{-1} + \boldsymbol{T}^{-1} \boldsymbol{U} \boldsymbol{Q}^{-1} \boldsymbol{V} \boldsymbol{T}^{-1} & - \boldsymbol{T}^{-1}\boldsymbol{U}\boldsymbol{Q}^{-1}\\ - \boldsymbol{Q}^{-1} \boldsymbol{V} \boldsymbol{T}^{-1} & \boldsymbol{Q}^{-1} \tag{1} \end{pmatrix}$$

が得られる。

補足

シューア補行列

行列 $\boldsymbol{Q} = \boldsymbol{W} - \boldsymbol{V} \boldsymbol{T}^{-1} \boldsymbol{U}$ は、行列 $\boldsymbol{A}$ の $\boldsymbol{T}$ に対する シューア補行列 (Schur complement) と呼ばれる。

式(5) の変形

以下のように表すこともできる：

$$\boldsymbol{A} = \begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{0}\\ \boldsymbol{V}\boldsymbol{T}^{-1} & \boldsymbol{I}_{n_2} \end{pmatrix} \begin{pmatrix} \boldsymbol{T} & \boldsymbol{0}\\ \boldsymbol{0} & \boldsymbol{W} - \boldsymbol{V}\boldsymbol{T}^{-1} \boldsymbol{U} \end{pmatrix} \begin{pmatrix} \boldsymbol{I}_{n_1} & \boldsymbol{T}^{-1} \boldsymbol{U}\\ \boldsymbol{0} & \boldsymbol{I}_{n_2} \end{pmatrix}.$$

参考文献

• D. A. Harville, Matrix Algebra From a Statistician's Perspective (2006, Springer)
  • 日本語訳： D. A. ハーヴィル（伊理正夫監訳）、統計のための行列代数 上（丸善、2012）

https://amzn.asia/d/eFLLrNg

https://amzn.asia/d/h5awcqR

適合度検定の式の導出時に現れる分散共分散行列を対角化する

$K$ 次元の確率変数ベクトル $\boldsymbol{f} = (f_1, f_2, ..., f_K)^\top$ が多項分布 ${\rm Mn}(N, \boldsymbol{p})$ に従っているものとする：

$$P(\boldsymbol{f}) = \frac{N!}{f_1! f_2! \cdot ... \cdot f_K !} p_1^{f_1} p_2^{f_2} \cdot ... \cdot p_K^{f_K}$$

ただし $N$ は合計度数 $N = \sum_{i=1}^K f_i$ である。
また、$\boldsymbol{p} = (p_1, p_2, ..., p_K)^\top$ はサンプルが各カテゴリに含まれる確率の理論値であり、$\sum_{i=1}^K p_i = 1 \quad (0 \le p_i \le 1)$ である。

ここで、以下のように $\boldsymbol{z}$ を置く：

$$\boldsymbol{z} = \left( \frac{f_1 - Np_1}{\sqrt{Np_1}}, \frac{f_2 - Np_2}{\sqrt{Np_2}},..., \frac{f_K - Np_K}{\sqrt{Np_K}} \right)^\top,$$

このとき $\boldsymbol{z}$ の分散共分散行列 $V[\boldsymbol{z}] = \boldsymbol{\Sigma}$ は、以下のように表される：

$$\Sigma_{ij} = \begin{cases} 1 - p_i \quad &i=j\\ -\sqrt{p_i p_j} \quad &i\ne j \end{cases} \qquad (i, j = 1, 2, ..., K)$$

以下、直交行列 $\boldsymbol{U}$ を用いて $\boldsymbol{\Sigma}$ を以下のように対角化できることを示す：

$$\begin{aligned} \boldsymbol{U}^\top \boldsymbol{\Sigma} \boldsymbol{U} = \begin{pmatrix} \boldsymbol{I}_{K-1} & \boldsymbol{0}\\ \boldsymbol{0} & 0 \end{pmatrix} \tag{1} \end{aligned}$$

導出

$K \times K$ 直交行列 $\boldsymbol{U} = (\boldsymbol{u}_1, \boldsymbol{u}_2, ..., \boldsymbol{u}_K)$ を考える。
ただし、$K$ 列目の成分は以下のようになっているものとする：

$$\boldsymbol{u}_K = (\sqrt{p_1}, \sqrt{p_2}, ..., \sqrt{p_K})^\top.$$

まず、 $\boldsymbol{\Sigma} \boldsymbol{U} = (\boldsymbol{u}_1, \boldsymbol{u}_2, ..., \boldsymbol{u}_{K-1}, \boldsymbol{0})$ であることを示す。

$$\begin{aligned} \boldsymbol{\Sigma} \boldsymbol{U} &= \begin{pmatrix} 1-p_1 & -\sqrt{p_1 p_2} & \cdots & -\sqrt{p_1 p_K}\\ -\sqrt{p_2 p_1} & 1 - p_2 & \cdots & -\sqrt{p_2 p_K}\\ \vdots & \vdots & \cdots & \vdots\\ -\sqrt{p_K p_1} & -\sqrt{p_K p_2} & \cdots & 1 - p_K \end{pmatrix} (\boldsymbol{u}_1, \boldsymbol{u}_2, ..., \boldsymbol{u}_{K-1}, \boldsymbol{u}_K) \end{aligned}$$

と書き下せるが、ここで $K$ 列目の成分は

$$\begin{aligned} \boldsymbol{\Sigma} \boldsymbol{u}_K &= \begin{pmatrix} 1-p_1 & -\sqrt{p_1 p_2} & \cdots & -\sqrt{p_1 p_K}\\ -\sqrt{p_2 p_1} & 1 - p_2 & \cdots & -\sqrt{p_2 p_K}\\ \vdots & \vdots & \cdots & \vdots\\ -\sqrt{p_K p_1} & -\sqrt{p_K p_2} & \cdots & 1 - p_K \end{pmatrix} \begin{pmatrix} \sqrt{p_1}\\ \sqrt{p_2}\\ \vdots\\ \sqrt{p_K} \end{pmatrix} &= \boldsymbol{0} \end{aligned}$$

である。
他の列についても、$\boldsymbol{u}_j = (u_{1j}, u_{2j}, ..., u_{Kj})^\top$ と置いて直交条件 $\boldsymbol{u}_i^\top \boldsymbol{u}_j = \delta_{ij}$ に気をつけつつ計算すると、

$$\begin{aligned} (\boldsymbol{\Sigma}\boldsymbol{u}_j)_i &= -\sqrt{p_i p_1} u_{1j} - \sqrt{p_i p_2} u_{2j} - ... + (1 - p_i) u_{ij} - ... - \sqrt{p_i p_K}\\ &= (1 - p_i) u_{ij} - \sqrt{p_i} (\sqrt{p_1} u_{1j} + \sqrt{p_1} u_{2j} + ...\\ &\qquad \qquad ... + \sqrt{p_{i-1}} u_{i-1,j} + \sqrt{p_{i+1}} u_{i+1,j} + ... + \sqrt{p_K} u_{Kj})\\ &= (1- p_i) u_{ij} - \sqrt{p_i} (\sqrt{p_1} u_{1j} + ... + \sqrt{p_K}u_{Kj} - \sqrt{p_i} u_{ij})\\ &= (1 - p_i) u_{ij} - \sqrt{p_i} (-\sqrt{p_i} u_{ij}) \qquad \because \boldsymbol{u}_K^\top \boldsymbol{u}_j = 0\\ &= u_{ij} \end{aligned}$$

となり $\boldsymbol{\Sigma}\boldsymbol{u}_j = \boldsymbol{u}_j$ が言える。
したがって $\boldsymbol{\Sigma} \boldsymbol{U} = (\boldsymbol{u}_1, \boldsymbol{u}_2, ..., \boldsymbol{u}_{K-1}, \boldsymbol{0})$ が成り立つ。

最後に再び直交条件に注意しつつ $\boldsymbol{U}^\top \boldsymbol{\Sigma} \boldsymbol{U}$ を計算すると、

$$\begin{aligned} \boldsymbol{U}^\top \boldsymbol{\Sigma} \boldsymbol{U} &= \begin{pmatrix} \boldsymbol{u}_1^\top\\ \boldsymbol{u}_2^\top\\ \vdots\\ \boldsymbol{u}_{K-1}^\top\\ \boldsymbol{u}_K^\top\\ \end{pmatrix} (\boldsymbol{u}_1, \boldsymbol{u}_2, ..., \boldsymbol{u}_{K-1}, \boldsymbol{0})\\ &= \begin{pmatrix} \boldsymbol{I}_{K-1} & \boldsymbol{0}\\ \boldsymbol{0} & 0 \end{pmatrix} \end{aligned}$$

となり、式(1)が示された。

冪等な行列の性質

対称な正方行列 $\boldsymbol{A}$ が冪等（べきとう）とは、以下の性質を持つことである：

$$\boldsymbol{A}^2 = \boldsymbol{A}.$$

自明な例を挙げると、単位行列 $\boldsymbol{I}$ は $\boldsymbol{I}^2 = \boldsymbol{I}$ より冪等である。

冪等な行列では、以下の性質が成り立つ：

• 行列 $\boldsymbol{A}$ が冪等であることと固有値が全て0 or 1であることは同値
• 冪等な行列の trace は rank と一致する（${\rm tr}\, \boldsymbol{A} = {\rm rank}\,\boldsymbol{A}$）

冪等行列と固有値の必要十分条件

以下、「行列 $\boldsymbol{A}$ が冪等」 $\Leftrightarrow$「行列 $\boldsymbol{A}$ の固有値が全て0 or 1」を示す。

（$\Leftarrow$ の証明）

「行列 $\boldsymbol{A}$ の固有値が全て0 or 1」のとき、$\boldsymbol{A}$ は直交行列 $\boldsymbol{U}$ を用いて以下のように固有値分解できる：

$$\boldsymbol{A} = \boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{U}^\top.$$

ただし、$\Lambda$ は対角成分が0か1の対角行列である。
このとき、

$$\begin{aligned} \boldsymbol{A}^2 &= \boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{U}^\top\boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{U}^\top\\ &=\boldsymbol{U} \boldsymbol{\Lambda}^2 \boldsymbol{U}^\top\\ &=\boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{U}^\top\\ &= \boldsymbol{A} \end{aligned}$$

となることから、「行列 $\boldsymbol{A}$ が冪等」であることが示された。

（$\Rightarrow$ の証明）

「行列 $\boldsymbol{A}$ が冪等」であるとする。

$\boldsymbol{A}$ の固有値とそれに対応する固有ベクトルを $\lambda_i, \, \boldsymbol{u}_i$ と置く：

$$\boldsymbol{A} \boldsymbol{u}_i = \lambda_i \boldsymbol{u}_i.$$

このとき、

$$\begin{aligned} \boldsymbol{A}^2 \boldsymbol{u}_i &= \boldsymbol{A} (\boldsymbol{A}\boldsymbol{u}_i)\\ &= \boldsymbol{A} (\lambda_i \boldsymbol{u}_i)\\ &= \lambda_i^2 \boldsymbol{u}_i \end{aligned}$$

であると同時に、冪等生の定義 $\boldsymbol{A}^2 = \boldsymbol{A}$ より

$$\begin{aligned} \boldsymbol{A}^2 \boldsymbol{u}_i &= \boldsymbol{A}\boldsymbol{u}_i\\ &= \lambda_i \boldsymbol{u}_i \end{aligned}$$

も成り立たなくてはいけない。

したがって、$\lambda_i^2 = \lambda_i$ となることから $\lambda_i = 0 \,{\rm or}\, 1$ となり、「行列 $\boldsymbol{A}$ の固有値が全て0 or 1」が示された。

冪等な行列では rank と trace が一致することの証明

上記で見たように、行列 $\boldsymbol{A}$ が冪等であればその固有値は全て0 or 1であり、以下のように直交行列 $\boldsymbol{U}$ を用いて固有値分解できる：

$$\boldsymbol{A} = \boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{U}^\top.$$

ただし、$\boldsymbol{\Lambda}$ は固有値を対角成分に持つ対角行列である。

したがってこのとき $\boldsymbol{A}$ の trace は以下のように表される：

$$\begin{aligned} {\rm tr}\, \boldsymbol{A} &= {\rm tr}\, (\boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{U}^\top)\\ &= {\rm tr}\, (\boldsymbol{\Lambda} \boldsymbol{U} \boldsymbol{U}^\top)\\ &= {\rm tr}\, \boldsymbol{\Lambda}. \end{aligned}$$

ここで、$\boldsymbol{A}$ の rank は固有値の non-zero 成分の数と一致することから、${\rm rank}\, \boldsymbol{A} = r$ と置くと $\boldsymbol{\Lambda}$ は以下のように表される：

$$\boldsymbol{\Lambda} = {\rm diag}(\underbrace{1,1,...,1}_r,\underbrace{0,0,...,0}_{n-r}).$$

従って、

$${\rm tr}\, \boldsymbol{A} =r = {\rm rank}\, \boldsymbol{A}$$

が成り立つ。

参考文献

• 佐和隆光、回帰分析(新装版) (統計ライブラリー、朝倉書店、2020)

https://amzn.asia/d/2vsEmZ6