Zenn
📚

統計のための行列代数 第20章 練習問題 解答例

2022/12/03に公開
math
統計学
線形代数
idea

はじめに

統計のための行列代数 練習問題 解答例まとめを参照

第20章 練習問題

1.

最大列階数の任意のm \times n行列\mathbf{B}と最大行階数のn \times p行列\mathbf{C}に対して,

(\mathbf{B C})^{+}=\mathbf{C}^{+} \mathbf{B}^{+}

を示せ.

公式(1.2)により、ムーア-ペンローズ型逆行列は以下の式で書ける。（公式(1.2)における\mathbf{A, B, T}がそれぞれ、本問での\mathbf{BC, B, C}に対応する。ムーア-ペンローズ型逆行列の一意性により、元の行列を最大列階数と最大行階数の積で表すための\mathbf{B, C}として、本問で与えられた\mathbf{B, C}自体を用いてよい。）

(\mathbf{B C})^{+}=\mathbf{C}^{\prime}\left(\mathbf{C C}^{\prime}\right)^{-1}\left(\mathbf{B}^{\prime} \mathbf{B}\right)^{-1} \mathbf{B}^{\prime}

(2.1)式と(2.2)式により、命題は示される。

(\mathbf{B C})^{+}=\mathbf{C}^{+} \mathbf{B}^{+} .
\mathbf{G}=\mathbf{T}^{\prime}\left(\mathbf{T T}^{\prime}\right)^{-1}\left(\mathbf{B}^{\prime} \mathbf{B}\right)^{-1} \mathbf{B}^{\prime} \ \ \ (1.2) \\ \mathbf{A}^{+}=\mathbf{A}^{\prime}\left(\mathbf{A} \mathbf{A}^{\prime}\right)^{-1} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (2.1)\\ \mathbf{A}^{+}=\left(\mathbf{A}^{\prime}\mathbf{A}\right)^{-1} \mathbf{A}^{\prime} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (2.2)

2.

任意のm \times n行列\mathbf{A}に対して, \mathbf{A}^{\prime} \mathbf{A}が冪等のときかつそのときに限って, \mathbf{A}^{+}=\mathbf{A}^{\prime}であることを示せ.

\mathbf{A}^{\prime} \mathbf{A}が冪等の時、定義より以下が成り立つ。

\mathbf{A}^{\prime} \mathbf{A}=\mathbf{A}^{\prime} \mathbf{A} \mathbf{A}^{\prime} \mathbf{A}

この式の左側に\mathbf{A}^{+}\left(\mathbf{A}^{+}\right)^{\prime}、右側に\mathbf{A}^{+}をかけると以下となる。

\mathbf{A}^{+}\left(\mathbf{A}^{+}\right)^{\prime} \mathbf{A}^{\prime} \mathbf{A} \mathbf{A}^{+}=\mathbf{A}^{+}\left(\mathbf{A}^{+}\right)^{\prime} \mathbf{A}^{\prime} \mathbf{A} \mathbf{A}^{\prime} \mathbf{A} \mathbf{A}^{+}

まず上記左の式に関して

\begin{aligned} \mathbf{A}^{+}\left(\mathbf{A}^{+}\right)^{\prime} \mathbf{A}^{\prime} \mathbf{A} \mathbf{A}^{+} &=\mathbf{A}^{+}\left(\mathbf{A} \mathbf{A}^{+}\right)^{\prime} \mathbf{A} \mathbf{A}^{+}\\ &=\mathbf{A}^{+} \mathbf{A} \mathbf{A}^{+} \mathbf{A A}^{+}（定理20.1.1 (3)より）\\ &=\mathbf{A}^{+} \mathbf{A A}^{+} \mathbf{A A}^{+} \\ &=\mathbf{A}^{+} \mathbf{A} \mathbf{A}^{+} \\ &=\mathbf{A}^{+}（定理20.1.1(2)より） \end{aligned}

次に右の式に関して

\begin{aligned} \mathbf{A}^{+}\left(\mathbf{A}^{+}\right)^{\prime} \mathbf{A}^{\prime} \mathbf{A} \mathbf{A}^{\prime} \mathbf{A} \mathbf{A}^{+} &=\mathbf{A}^{+}\left(\mathbf{A} \mathbf{A}^{+}\right)^{\prime} \mathbf{A} \mathbf{A}^{\prime}\left(\mathbf{A A}^{+}\right)^{\prime}（定理20.1.1(3)より） \\ &=\mathbf{A}^{+} \mathbf{A} \mathbf{A}^{+} \mathbf{A}\left(\mathbf{A} \mathbf{A}^{+} \mathbf{A}\right)^{\prime}（定理20.1.1(3)より） \\ &=\mathbf{A}^{+} \mathbf{A} \mathbf{A}^{\prime}（定理20.1.1(1),(2)より） \\ &=\left(\mathbf{A}^{+} \mathbf{A}\right)^{\prime} \mathbf{A}^{\prime}=\left(\mathbf{A} \mathbf{A}^{+} \mathbf{A}\right)^{\prime}=\mathbf{A}^{\prime}（定理20.1.1(1),(3)より） \end{aligned}

よって、\mathbf{A}^{+}=\mathbf{A}^{\prime}となる。

逆に\mathbf{A}^{+}=\mathbf{A}^{\prime}の時、\mathbf{A}^{\prime} \mathbf{A}=\mathbf{A}^{+} \mathbf{A}で、定理10.2.5よりこれは冪等行列となる。

3.

定理9.6.1に関連して, もし\mathcal{C}(\mathbf{U}) \subset \mathcal{C}(\mathbf{T})かつ\mathcal{R}(\mathbf{V}) \subset \mathcal{R}(\mathbf{T})で、(それぞれ\mathbf{T}, \mathbf{Q}の)一般逆行列\mathbf{T}^{-}, \mathbf{Q}^{-}が共に反射的ならば，分割行列(9.6.2),(9.6.3)はそれぞれ\begin{pmatrix}\mathbf{T} & \mathbf{U} \\ \mathbf{V} & \mathbf{W}\end{pmatrix},\begin{pmatrix}\mathbf{W} & \mathbf{V} \\ \mathbf{U} & \mathbf{T}\end{pmatrix}の反射形一般逆行列となることを示せ.

定理9.6.1. \mathbf{T}をm \times p行列,\mathbf{U}をm \times q行列,\mathbf{V}をn \times p行列,\mathbf{W}をn \times q行列とし,\mathbf{Q}=\mathbf{W}-\mathbf{V} \mathbf{T}^{-} \mathbf{U}と置く.\mathcal{C}(\mathbf{U}) \subset \mathcal{C}(\mathbf{T})かつ\mathcal{R}(\mathbf{V}) \subset \mathcal{R}(\mathbf{T})と仮定する.このとき,

\operatorname{rank}\begin{pmatrix}\mathbf{T} & \mathbf{U} \\\mathbf{V} & \mathbf{W}\end{pmatrix}=\operatorname{rank}\begin{pmatrix}\mathbf{W} & \mathbf{V} \\\mathbf{U} & \mathbf{T}\end{pmatrix}=\operatorname{rank}(\mathbf{T})+\operatorname{rank}(\mathbf{Q})
である. 更に, 分割行列
\begin{aligned}&\begin{pmatrix}\mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-} & -\mathbf{T}^{-} \mathbf{U Q}^{-} \\-\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} & \mathbf{Q}^{-}\end{pmatrix} \\=& \begin{pmatrix}\mathbf{T}^{-} & \mathbf{0} \\\mathbf{0} & \mathbf{0}\end{pmatrix}+\begin{pmatrix}-\mathbf{T}^{-} \mathbf{U} \\\mathbf{I}_q\end{pmatrix} \mathbf{Q}^{-}\left(-\mathbf{V T}^{-}, \mathbf{I}_n\right)\end{aligned}\tag{9.6.2}
と
\begin{aligned}&\begin{pmatrix}\mathbf{Q}^{-} & -\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} \\ -\mathbf{T}^{-} \mathbf{U Q}^{-} & \mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-}\end{pmatrix} \\=&\begin{pmatrix}\mathbf{0} & \mathbf{0} \\ \mathbf{0} & \mathbf{T}^{-}\end{pmatrix}+\begin{pmatrix}\mathbf{I}_q \\ -\mathbf{T}^{-} \mathbf{U}\end{pmatrix} \mathbf{Q}^{-}\left(\mathbf{I}_n,-\mathbf{V} \mathbf{T}^{-}\right)\end{aligned}\tag{9.6.3}
は, それぞれ,\begin{pmatrix}\mathbf{T} & \mathbf{U} \\ \mathbf{V} & \mathbf{W}\end{pmatrix}と\begin{pmatrix}\mathbf{W} & \mathbf{V} \\ \mathbf{U} & \mathbf{T}\end{pmatrix}の一般逆行列である.

※反射形一般逆行列であるというのは、20.3.aからペンローズの条件(1), (2)から行列\mathbf{A}の一般逆行列\mathbf{G}について、\mathbf{AGA} = \mathbf{A}, \mathbf{GAG} = \mathbf{G}が成立していることである。

もし\mathcal{C}(\mathbf{U}) \subset \mathcal{C}(\mathbf{T})かつ\mathcal{R}(\mathbf{V}) \subset \mathcal{R}(\mathbf{T})を仮定すると、定理9.6.1が成立して(9.6.2)と(9.6.3)はそれぞれ\begin{pmatrix}\mathbf{T} & \mathbf{U} \\ \mathbf{V} & \mathbf{W}\end{pmatrix}と\begin{pmatrix}\mathbf{W} & \mathbf{V} \\ \mathbf{U} & \mathbf{T}\end{pmatrix}の一般逆行列となっている。また、補助定理9.3.5から\mathbf{U} = \mathbf{TT}^{-} \mathbf{U}, \mathbf{V}=\mathbf{VT}^{-} \mathbf{T}が成立する。

禣助定理 9.3.5. \mathbf{A}をm \times n行列とする. このとき, 任意のm \times p行列\mathbf{B}に対して, \mathbf{B}=\mathbf{A A}^{-} \mathbf{B}のときかつそのときに限って, すなわち, \left(\mathbf{I}-\mathbf{A A}^{-}\right) \mathbf{B}=\mathbf{0}のときかつそのときに限って, \mathcal{C}(\mathbf{B}) \subset \mathcal{C}(\mathbf{A})である. そして, 任意のq \times n行列\mathbf{C}に対して, \mathbf{C}=\mathbf{C A}^{-} \mathbf{A}のときかつそのときに限って, すなわち, \mathbf{C}\left(\mathbf{I}-\mathbf{A}^{-} \mathbf{A}\right)=\mathbf{0}のときかつそのときに限って, \mathcal{R}(\mathbf{C}) \subset \mathcal{R}(\mathbf{A})である.

今、仮定から一般逆行列\mathbf{T}^{-}, \mathbf{Q}^{-}が共に反射的なので\mathbf{T}^{-}\mathbf{TT}^{-}= \mathbf{T}^{-}, \mathbf{Q}^{-}\mathbf{QQ}^{-}= \mathbf{Q}^{-} (\iff \mathbf{Q}^{-}(\mathbf{I} - \mathbf{QQ}^{-}) = \mathbf{0} )が成立している。これを用いて、分割行列(9.6.2)が行列\begin{pmatrix}\mathbf{T} & \mathbf{U} \\ \mathbf{V} & \mathbf{W}\end{pmatrix}の反射的一般逆行列であることを計算して確かめる（※定理9.6.1から\mathbf{Q}=\mathbf{W}-\mathbf{V} \mathbf{T}^{-} \mathbf{U} \iff \mathbf{W}=\mathbf{Q}+\mathbf{V} \mathbf{T}^{-} \mathbf{U}と置いている）。

\begin{aligned} & \begin{pmatrix}\mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-} & -\mathbf{T}^{-} \mathbf{U Q}^{-} \\-\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} & \mathbf{Q}^{-}\end{pmatrix} \begin{pmatrix}\mathbf{T} & \mathbf{U} \\ \mathbf{V} & \mathbf{W}\end{pmatrix} \begin{pmatrix}\mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-} & -\mathbf{T}^{-} \mathbf{U Q}^{-} \\-\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} & \mathbf{Q}^{-}\end{pmatrix} \\ = & \begin{pmatrix}\mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-} & -\mathbf{T}^{-} \mathbf{U Q}^{-} \\-\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} & \mathbf{Q}^{-}\end{pmatrix} \begin{pmatrix} \mathbf{T T}^{-} & \mathbf{0} \\ \left(\mathbf{I}-\mathbf{Q Q}^{-}\right) \mathbf{V T}^{-} & \mathbf{Q Q}^{-} \end{pmatrix} \\ = & \begin{pmatrix} \mathbf{T}^{-}\mathbf{T T}^{-} + \mathbf{TUQ}^{-}\mathbf{VT}^{-}\mathbf{TT}^{-}-\mathbf{T}^{-}\mathbf{UQ}^{-}(\mathbf{I}-\mathbf{QQ}^{-})\mathbf{VT}^{-} & -\mathbf{T}^{-}\mathbf{UQ}^{-}\mathbf{QQ}^{-} \\ -\mathbf{Q}^{-}\mathbf{VT}^{-}\mathbf{TT}^{-} + \mathbf{Q}^{-}(\mathbf{I} - \mathbf{QQ}^{-})\mathbf{VT}^{-} & \mathbf{Q}^{-}\mathbf{QQ}^{-} \\ \end{pmatrix} \\ = & \begin{pmatrix} \mathbf{T}^{-} + \mathbf{TUQ}^{-}\mathbf{VT}^{-}-\mathbf{T}^{-}\mathbf{UQ}^{-}(\mathbf{I}-\mathbf{QQ}^{-})\mathbf{VT}^{-} & -\mathbf{T}^{-}\mathbf{UQ}^{-} \\ -\mathbf{Q}^{-}\mathbf{VT}^{-} + \mathbf{Q}^{-}(\mathbf{I} - \mathbf{QQ}^{-})\mathbf{VT}^{-} & \mathbf{Q}^{-} \\ \end{pmatrix} \\ = & \begin{pmatrix} \mathbf{T}^{-} + \mathbf{TUQ}^{-}\mathbf{VT}^{-} & -\mathbf{T}^{-}\mathbf{UQ}^{-} \\ -\mathbf{Q}^{-}\mathbf{VT}^{-} & \mathbf{Q}^{-} \\ \end{pmatrix} \quad (9.6.2) \end{aligned}

以上で示された。同様に(9.6.3)が行列\begin{pmatrix}\mathbf{W} & \mathbf{V} \\ \mathbf{U} & \mathbf{T}\end{pmatrix}の反射的一般逆行列であることを示す。

\begin{aligned} & \begin{pmatrix}\mathbf{Q}^{-} & -\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} \\ -\mathbf{T}^{-} \mathbf{U Q}^{-} & \mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-}\end{pmatrix}\begin{pmatrix}\mathbf{W} & \mathbf{V} \\ \mathbf{U} & \mathbf{T}\end{pmatrix}\begin{pmatrix}\mathbf{Q}^{-} & -\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} \\ -\mathbf{T}^{-} \mathbf{U Q}^{-} & \mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-}\end{pmatrix} \\ = & \begin{pmatrix}\mathbf{Q}^{-} & -\mathbf{Q}^{-} \mathbf{V} \mathbf{T}^{-} \\ -\mathbf{T}^{-} \mathbf{U Q}^{-} & \mathbf{T}^{-}+\mathbf{T}^{-} \mathbf{U Q}^{-} \mathbf{V T}^{-}\end{pmatrix} \begin{pmatrix} \mathbf{QQ}^{-} & \left(\mathbf{I} - \mathbf{Q Q}^{-} \right) \mathbf{V T}^{-} \\ \mathbf{0} & \mathbf{TT}^{-} \end{pmatrix} \\ = & \begin{pmatrix} \mathbf{Q}^{-}\mathbf{QQ}^{-} & -\mathbf{Q}^{-}\mathbf{VT}^{-}\mathbf{TT}^{-} + \mathbf{Q}^{-}(\mathbf{I} - \mathbf{QQ}^{-})\mathbf{VT}^{-} \\ -\mathbf{T}^{-}\mathbf{UQ}^{-}\mathbf{QQ}^{-} & \mathbf{T}^{-}\mathbf{T T}^{-} + \mathbf{TUQ}^{-}\mathbf{VT}^{-}\mathbf{TT}^{-}-\mathbf{T}^{-}\mathbf{UQ}^{-}(\mathbf{I}-\mathbf{QQ}^{-})\mathbf{VT}^{-} \\ \end{pmatrix} \\ = & \begin{pmatrix} \mathbf{Q}^{-} & -\mathbf{Q}^{-}\mathbf{VT}^{-} + \mathbf{Q}^{-}(\mathbf{I} - \mathbf{QQ}^{-})\mathbf{VT}^{-} \\ -\mathbf{T}^{-}\mathbf{UQ}^{-} & \mathbf{T}^{-} + \mathbf{TUQ}^{-}\mathbf{VT}^{-}-\mathbf{T}^{-}\mathbf{UQ}^{-}(\mathbf{I}-\mathbf{QQ}^{-})\mathbf{VT}^{-} \\ \end{pmatrix} \\ = & \begin{pmatrix} \mathbf{Q}^{-} & -\mathbf{Q}^{-}\mathbf{VT}^{-} \\ -\mathbf{T}^{-}\mathbf{UQ}^{-} & \mathbf{T}^{-} + \mathbf{TUQ}^{-}\mathbf{VT}^{-} \\ \end{pmatrix} \quad (9.6.3) \end{aligned}

以上で示された。

4.

m \times n行列\mathbf{A}の左逆行列（存在するとき）はペンローズの条件 (1)-(4) のどれを必ず満たすかを判定せよ. m \times n行列\mathbf{A}の右逆行列（存在するとき）はペンローズの条件のどれを必ず満たすか?

\mathbf{A}は左逆行列\mathbf{L}を持つと仮定する。そのとき、定義により\mathbf{L}\mathbf{A}=\mathbf{I}_nが成り立つ。そして、以前（Section 9.2で）示したように、\mathbf{A}\mathbf{L}\mathbf{A}=\mathbf{A}\mathbf{I}=\mathbf{A}である。したがって、ペンローズの条件(1)を必ず満たす。さらに、\mathbf{L}\mathbf{A}\mathbf{L} = \mathbf{I}\mathbf{L}=\mathbf{L}と(\mathbf{L}\mathbf{A})'=\mathbf{I}'=\mathbf{I}=\mathbf{L}\mathbf{A}より、\mathbf{L}もまたペンローズの条件(2)および(4)を必ず満たす。

しかし、ペンローズの条件(3)を満たさない左逆行列をもつ行列が存在する。例えば、\mathbf{A}=(\mathbf{I}_n\ \mathbf{0})'（ただし、m>n）を考える。そして、\mathbf{L}=(\mathbf{I}_n\ \mathbf{K})（ここで\mathbf{K}は任意のn\times(m-n)行列）をとる。そのとき、\mathbf{L}\mathbf{A}=\mathbf{I}_nかつ\mathbf{A}\mathbf{L}=\begin{pmatrix}\mathbf{I}_n & \mathbf{K} \\ \mathbf{0} & \mathbf{0}\end{pmatrix}であるので、\mathbf{L}は\mathbf{A}の左逆行で、（\mathbf{K}=\mathbf{0}でない限り）ペンローズの条件(3)を満たさない。

同様に、\mathbf{A}は右逆行列\mathbf{R}を持つと仮定すると、\mathbf{R}は必ずペンローズの条件(1)-(3)を満たす。しかし、ペンローズの条件(4)を満たさない右逆行列をもつ行列が存在する。

5.

\mathbf{A}をm \times n行列, \mathbf{G}をn \times m行列とする.

\mathbf{(a)}\mathbf{G}が\mathbf{A}の最小ノルム形一般逆行列かつ\mathbf{A}が\mathbf{G}の最小ノルム形一般逆行列のときかつそのときに限って, \mathbf{G}は\mathbf{A}のムーア―ペンローズ形逆行列であることを示せ.

\mathbf{(b)}\mathbf{G A A}^{\prime}=\mathbf{A}^{\prime}かつ\mathbf{A G G}^{\prime}=\mathbf{G}^{\prime}のときかつそのときに限って, \mathbf{G}は\mathbf{A}の ムーア―ペンローズ形逆行列であることを示せ.

\mathbf{(c)}\mathbf{G A}=\mathbf{P}_{\mathbf{A}^{\prime}}かつ\mathbf{A G}=\mathbf{P}_{\mathbf{G}^{\prime}}のときかつそのときに限って, \mathbf{G}は\mathbf{A}のムーア―ペンローズ形逆行列であることを示せ.

\mathbf{(a)} 最小ノルム形一般逆行列の定義より\mathbf{AGA}=\mathbf{A},(\mathbf{GA})^{\prime}=\mathbf{GA}が成り立つ(定理20.1.1の(1),(4))ときかつそのときに限って\mathbf{G}が\mathbf{A}の最小ノルム形一般逆行列になる. また\mathbf{GAG}=\mathbf{G},(\mathbf{AG})^{\prime}=\mathbf{AG}成り立つ(定理20.1.1の(2),(3))ときかつそのときに限って\mathbf{A}が\mathbf{G}の最小ノルム形一般逆行列になる. したがって\mathbf{G}が\mathbf{A}の最小ノルム形一般逆行列であり，\mathbf{A}が\mathbf{G}の最小ノルム形一般逆行列であるとき，かつその時に限って\mathbf{G}は\mathbf{A}のムーア―ペンローズ形逆行列である．

\mathbf{(b)} 定理(20.3.7)より\mathbf{G A A}^{\prime}=\mathbf{A}^{\prime}かつ\mathbf{A G G}^{\prime}=\mathbf{G}^{\prime}のときかつそのときに限って,\mathbf{G}は\mathbf{A}の最小ノルム形一般逆行列であり，かつ\mathbf{A}は\mathbf{G}の最小ノルム形一般逆行列である．したがってこれと\mathbf{(a)}から\mathbf{G}は\mathbf{A}のムーア―ペンローズ形逆行列である．

定理 20.3.7. m \times n 行列 \mathbf{A} に対して, n \times m 行列 \mathbf{G} は, \mathbf{G A } \mathbf{A}^{\prime}=\mathbf{A}^{\prime} すな わち \mathbf{A} \mathbf{A}^{\prime} \mathbf{G}^{\prime}=\mathbf{A} のときかつそのときに限って, \mathbf{A} の最小ノルム形一般逆行 列である.

\mathbf{(c)} 系(20.3.8)より\mathbf{G A}=\mathbf{P}_{\mathbf{A}^{\prime}}かつ\mathbf{A G}=\mathbf{P}_{\mathbf{G}^{\prime}}のときかつそのときに限って, \mathbf{G}は\mathbf{A}の最小ノルム形一般逆行列であり，かつ\mathbf{A}は\mathbf{G}の最小ノルム形一般逆行列である．したがってこれと\mathbf{(a)}から\mathbf{G}は\mathbf{A}のムーア―ペンローズ形逆行列である．

系 20.3.8. m \times n 行列 \mathbf{A} に対して, n \times m 行列 \mathbf{G} は, \mathbf{G A}=\mathbf{P}_{\mathbf{A}^{\prime}} すなわ ち \mathbf{A}^{\prime} \mathbf{G}^{\prime}=\mathbf{P}_{\mathbf{A}^{\prime}} のときかつそのときに限って, \mathbf{A} の最小ノルム形一般逆行列 である.

6.

\mathbf{(a)} m \times n行列\mathbf{A}, \mathbf{B}で\mathbf{A}^{\prime} \mathbf{B}=\mathbf{0}, \mathbf{B A}^{\prime}=\mathbf{0}を満たすものに対して, (\mathbf{A}+\mathbf{B})^{+}=\mathbf{A}^{+}+\mathbf{B}^{+}を示せ.

\mathbf{(b)} \mathbf{A}_1, \mathbf{A}_2, \ldots, \mathbf{A}_kをm \times n行列で, j>i=1, \ldots, k-1に対して, \mathbf{A}_i^{\prime} \mathbf{A}_j=\mathbf{0}, \mathbf{A}_j \mathbf{A}_i^{\prime}=\mathbf{0}を満たすものとする. \left(\mathbf{A}_1+\mathbf{A}_2+\cdots+\mathbf{A}_k\right)^{+}=\mathbf{A}_1^{+}+\mathbf{A}_2^{+}+\cdots+\mathbf{A}_k^{+}を示して\mathbf{(a)}の結果を一般化せよ.

\mathbf{(a)}
\mathbf{X} を (\mathbf{A}+\mathbf{B})^{\prime}(\mathbf{A}+\mathbf{B}) \mathbf{X}= (\mathbf{A}+\mathbf{B})^{\prime} を満たす n \times m 行列, \mathbf{Y} を (\mathbf{A}+\mathbf{B})(\mathbf{A}+\mathbf{B})^{\prime} \mathbf{Y}=\mathbf{A}+\mathbf{B} を 満たす m \times n 行列とする. \mathbf{B}^{\prime} \mathbf{A}=\left(\mathbf{A}^{\prime} \mathbf{B}\right)^{\prime}=\mathbf{0} 及び \mathbf{A} \mathbf{B}^{\prime}=\left(\mathbf{B} \mathbf{A}^{\prime}\right)^{\prime}=\mathbf{0} より, \left(\mathbf{A}^{\prime} \mathbf{A}+\mathbf{B}^{\prime} \mathbf{B}\right) \mathbf{X}=\mathbf{A}^{\prime}+\mathbf{B}^{\prime} 及び \left(\mathbf{A} \mathbf{A}^{\prime}+\mathbf{B} \mathbf{B}^{\prime}\right) \mathbf{Y}=\mathbf{A}+\mathbf{B} を得る.
さらに, 系 12.1.2 より, \mathcal{C}(\mathbf{A}) \perp \mathcal{C}(\mathbf{B}) 及び \mathcal{C}\left(\mathbf{A}^{\prime}\right) \perp \mathcal{C}\left(\mathbf{B}^{\prime}\right) であるから, 補助定理 17.1.9 より, \mathcal{C}(\mathbf{A}) \cap \mathcal{C}(\mathbf{B})=\{\mathbf{0}\} 及び \mathcal{C}\left(\mathbf{A}^{\prime}\right) \cap \mathcal{C}\left(\mathbf{B}^{\prime}\right)=\{\mathbf{0}\} を得る. よって, \mathcal{C}\left(\mathbf{A}^{\prime}\right)=\mathcal{C}\left(\mathbf{A}^{\prime} \mathbf{A}\right), \mathcal{C}\left(\mathbf{B}^{\prime}\right)=\mathcal{C}\left(\mathbf{B}^{\prime} \mathbf{B}\right), \mathcal{C}(\mathbf{A})=\mathcal{C}\left(\mathbf{A} \mathbf{A}^{\prime}\right), 及び \mathcal{C}(\mathbf{B})=\mathcal{C}\left(\mathbf{B B}^{\prime}\right) であるから, 定理 18.2.7 より, \mathbf{A}^{\prime} \mathbf{A X}=\mathbf{A}^{\prime}, \mathbf{B}^{\prime} \mathbf{B} \mathbf{X}=\mathbf{B}^{\prime}, \mathbf{A} \mathbf{A}^{\prime} \mathbf{Y}=\mathbf{A}, 及び \quad \mathbf{B B}^{\prime} \mathbf{Y}=\mathbf{B} である.
よって, 定理 20.4.4 を用いて,

(\mathbf{A}+\mathbf{B})^{+}=\mathbf{Y}^{\prime}(\mathbf{A}+\mathbf{B}) \mathbf{X}=\mathbf{Y}^{\prime} \mathbf{A X}+\mathbf{Y}^{\prime} \mathbf{B X}=\mathbf{A}^{+}+\mathbf{B}^{+}

を得る.

系 12.1.2. \mathbf{y} を m 次元列べクトル, \mathbf{X} を m \times n 行列, \mathbf{Z} を m \times p 行列とする. このとき, \mathbf{X}^{\prime} \mathbf{y}=\mathbf{0} (すなわち, \mathbf{y}^{\prime} \mathbf{X}=\mathbf{0}) のときかつそのときに限って, \mathbf{y} は (通常の内積に関して) \mathcal{C}(\mathbf{X}) に直交する. 同様に, \mathbf{X}^{\prime} \mathbf{Z}=\mathbf{0} (すなわち, \mathbf{Z}^{\prime} \mathbf{X}=\mathbf{0}) のときかつそのときに限って, \mathcal{C}(\mathbf{X}) は（通常の内積に関して）\mathcal{C}(\mathbf{Z}) に直交する.

補助定理 17.1.9. \mathcal{U}, \mathcal{V} を \mathcal{R}^{m \times n} の部分空間とする. \mathcal{U} \perp \mathcal{V} (すなわち, \mathcal{U}, \mathcal{V} が直交する）ならば, \mathcal{U} \cap \mathcal{V}=\{0\} である (すなわち, \mathcal{U}, \mathcal{V} は本質的に互いに素である).

定理 18.2.7. \mathbf{A}, \mathbf{B} を m \times n 行列, \mathbf{C}, \mathbf{D} を m \times p 行列で \mathcal{C}(\mathbf{C}) \subset \mathcal{C}(\mathbf{A}), \mathcal{C}(\mathbf{D}) \subset \mathcal{C}(\mathbf{B}) を満たすものとする. (1) もし \mathcal{R}(\mathbf{A}), \mathcal{R}(\mathbf{B}) が本質的に互いに素ならば, (Xに関する) 線形系 (\mathbf{A}+\mathbf{B}) \mathbf{X}=\mathbf{C}+\mathbf{D} は無矛盾である. (2) もし \mathcal{C}(\mathbf{A}), \mathcal{C}(\mathbf{B}) が本質的に互いに素ならば，線形系 (\mathbf{A}+\mathbf{B}) \mathbf{X}=\mathbf{C}+\mathbf{D} の解は線形系 \mathbf{A X}=\mathbf{C} と線形系 \mathbf{B X}=\mathbf{D} の解である.

定理 20.4.4. 任意の m \times n 行列 \mathbf{A} に対して, \mathbf{X} を (n \times m 行列 \mathbf{X} に関する) (無矛盾な）線形系 \mathbf{A}^{\prime} \mathbf{A X}=\mathbf{A}^{\prime} の任意の解， \mathbf{Y}_* を (m \times n 行列 \mathbf{Y} に関する) (無矛盾な）線形系 \mathbf{A} \mathbf{A}^{\prime} \mathbf{Y}=\mathbf{A} の任意の解として，

\mathbf{A}^{+}=\mathbf{Y}_*^{\prime} \mathbf{A X} .
である.

\mathbf{(b)}
数学的帰納法により示す. まず, \mathbf{(a)} より k=2 のとき \mathbf{(b)} の結果は成立する.

\mathbf{(b)} の結果が k=k^*-1 のときに成立すると仮定する. また, \mathbf{A}_1, \ldots, \mathbf{A}_{k^*-1}, \mathbf{A}_{k^*} を j>i=1, \ldots, k^*-1 に対して \mathbf{A}_i^{\prime} \mathbf{A}_j=\mathbf{0} 及び \mathbf{A}_j \mathbf{A}_i^{\prime}=\mathbf{0} を満たす m \times n 行列とする. このとき,

\left(\mathbf{A}_1+\cdots+\mathbf{A}_{k^*-1}\right)^{\prime} \mathbf{A}_{k^*}=\mathbf{A}_1^{\prime} \mathbf{A}_{k^*}+\cdots+\mathbf{A}_{k^*-1}^{\prime} \mathbf{A}_{k^*}=0

及び

\mathbf{A}_{k^*}\left(\mathbf{A}_1+\cdots+\mathbf{A}_{k^*-1}\right)^{\prime}=\mathbf{A}_{k^*} \mathbf{A}_1^{\prime}+\cdots+\mathbf{A}_{k^*} \mathbf{A}_{k^*-1}^{\prime}=\mathbf{0}

より, \mathbf{(a)} を用いて,

\begin{aligned} \left(\mathbf{A}_1+\cdots+\mathbf{A}_{k^*-1}+\mathbf{A}_{k^*}\right)^{+} &=\left[\left(\mathbf{A}_1+\cdots+\mathbf{A}_{k^*-1}\right)+\mathbf{A}_{k^*}\right]^{+} \\ &=\left(\mathbf{A}_1+\cdots+\mathbf{A}_{k^*-1}\right)^{+}+\mathbf{A}_{k^*}^{+} \\ &=\mathbf{A}_1^{+}+\ldots+\mathbf{A}_{k^*-1}^{+}+\mathbf{A}_{k^*}^{+}, \end{aligned}

となり, k=k^* のときにも \mathbf{(b)} の結果は成立する.

以上より, 数学的帰納法で示される.

7.

任意のm \times n行列\mathbf{A}に対して, \left(\mathbf{A}^{+} \mathbf{A}\right)^{+}=\mathbf{A}^{+} \mathbf{A},\left(\mathbf{A} \mathbf{A}^{+}\right)^{+}=\mathbf{A A}^{+}が成り立つことを示せ。

系20.5.2より、\mathbf{A}^{+} \mathbf{A}と、 \mathbf{A}\mathbf{A}^{+}は対称で冪等である。

補助定理20.2.1 任意の対称冪等行列\mathbf{A}に対して、\mathbf{A}^{+} = \mathbf{A}である

よって、補助定理20.2.1より、\left(\mathbf{A}^{+} \mathbf{A}\right)^{+}=\mathbf{A}^{+} \mathbf{A},\left(\mathbf{A} \mathbf{A}^{+}\right)^{+}=\mathbf{A A}^{+}が成り立つ。

8.

任意のn \times n対称行列\mathbf{A}に対して, \mathbf{A} \mathbf{A}^{+}=\mathbf{A}^{+} \mathbf{A}が成り立つことを示せ.

行列\mathbf{A}が対称行列であることと、定理20.5.1のパート(2)より、\mathbf{A}^{+} \mathbf{A}=\mathbf{A} \mathbf{A}^{+}が導かれる。

定理 20.5.1. 任意の行列 \mathbf{A} に対して, 次のことが成り立つ.
(1) \operatorname{rank}\left(\mathbf{A}^{+}\right)=\operatorname{rank}(\mathbf{A}).
(2) \mathbf{A}^{+} \mathbf{A}=\mathbf{P}_{\mathbf{A}^{\prime}}, \mathbf{A} \mathbf{A}^{+}=\mathbf{P}_{\mathbf{A}}.
(3) \mathcal{C}\left(\mathbf{A}^{+}\right)=\mathcal{C}\left(\mathbf{A}^{\prime}\right), \mathcal{R}\left(\mathbf{A}^{+}\right)=\mathcal{R}\left(\mathbf{A}^{\prime}\right).
(4) \mathcal{N}\left(\mathbf{A}^{+}\right)=\mathcal{C}^{\perp}(\mathbf{A})=\mathcal{N}\left(\mathbf{A}^{\prime}\right).

9.

\mathbf{V}をn \times n対称非負定値行列, \mathbf{X}をn \times p行列, \mathbf{d}をp次元列ベクトルとする. 練習問題8と19.11の結果（あるいは他のもの）を用いて, あらゆる\mathbf{d} \in \mathcal{C}\left(\mathbf{X}^{\prime}\right)に対して, \mathbf{X}^{\prime} \mathbf{a}=\mathbf{d}の下で（\mathbf{a}に関する）二次形式\mathbf{a}^{\prime} \mathbf{V a}を最小にする問題について, ベクトル\mathbf{X}\left(\mathbf{X}^{\prime} \mathbf{X}\right)^{-} \mathbf{d}が解となるためには, \mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) \subset \mathcal{C}(\mathbf{X})であることが必要十分であることを示せ.

練習問題 19.11 の結果より、

\mathcal{C}(\mathbf{V X}) \subset\mathcal{C}(\mathbf{X}) \Leftrightarrow \mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) \subset \mathcal{C}(\mathbf{X})

を示せばよい。以下これを示す。

\mathcal{C}(\mathbf{V X}) \subset \mathcal{C}(\mathbf{X}) と仮定すると、ある行列 \mathbf{Q} が存在して \mathbf{V X}=\mathbf{X} \mathbf{Q} が成り立つ。また、練習問題 8 の結果より

\mathbf{V X}=\mathbf{V V}^{+} \mathbf{V X}=\mathbf{V V}^{+} \mathbf{X Q}=\mathbf{V}^{+} \mathbf{V X Q}=\mathbf{V}^{+} \mathbf{X Q}^2

が成り立つので

\mathcal{C}(\mathbf{V X}) \subset \mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right)

である。さらに、定理20.5.3 より \mathrm{V}^{+} は対称非負定値なので、補助定理 14.11.2 と練習問題 8 の結果より

\begin{aligned} \operatorname{rank}(\mathbf{V X}) \geq \operatorname{rank}\left(\mathbf{V}^{+} \mathbf{V} \mathbf{X}\right)=\operatorname{rank}\left(\mathbf{V V}^{+} \mathbf{X}\right) & \geq \operatorname{rank}\left(\mathbf{X}^{\prime} \mathbf{V}^{+} \mathbf{V} \mathbf{V}^{+} \mathbf{X}\right) \\ &=\operatorname{rank}\left(\mathbf{X}^{\prime} \mathbf{V}^{+} \mathbf{X}\right)=\operatorname{rank}\left(\mathbf{V}^{+} \mathbf{X}\right) \end{aligned}

が成り立つ。\mathcal{C}(\mathbf{V X}) \subset \mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) より \operatorname{rank}(\mathbf{V X}) \leq \operatorname{rank}\left(\mathbf{V}^{+} \mathbf{X}\right) だから、\operatorname{rank}(\mathbf{V X}) =\operatorname{rank}\left(\mathbf{V}^{+} \mathbf{X}\right) である。 よって \mathcal{C}(\mathbf{V X})=\mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) である。 従って仮定より \mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) \subset \mathcal{C}(\mathbf{X}) が成り立つ。

逆に、\mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) \subset \mathcal{C}(\mathbf{X}) と仮定すると、ある行列 \mathbf{R} が存在して \mathbf{V}^{+} \mathbf{X}=\mathbf{X R} が成り立つ。また、練習問題 8 の結果より

\mathbf{V}^{+} \mathbf{X}=\mathbf{V}^{+} \mathbf{V V}^{+} \mathbf{X}=\mathbf{V}^{+} \mathbf{V X R}=\mathbf{V V}^{+} \mathbf{X R}=\mathbf{V X R}^2

が成り立つので

\mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) \subset \mathcal{C}(\mathbf{V X})

である。さらに、補助定理 14.11.2 と練習問題 8 の結果より

\begin{aligned} &\operatorname{rank}\left(\mathbf{V}^{+} \mathbf{X}\right) \geq \operatorname{rank}\left(\mathbf{V V}^{+} \mathbf{X}\right)=\operatorname{rank}\left(\mathbf{V}^{+} \mathbf{V X}\right) \geq \operatorname{rank}\left(\mathbf{X}^{\prime} \mathbf{V V}^{+} \mathbf{V X}\right) \\ &=\operatorname{rank}\left(\mathbf{X}^{\prime} \mathbf{V X}\right)=\operatorname{rank}(\mathbf{V X}) & \end{aligned}

が成り立つ。\mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right) \subset \mathcal{C}(\mathbf{V X}) より \operatorname{rank}\left(\mathbf{V}^{+} \mathbf{X}\right)\leq\operatorname{rank}(\mathbf{V X}) だから、\operatorname{rank}\left(\mathbf{V}^{+} \mathbf{X}\right) =\operatorname{rank}(\mathbf{V X}) である。よって \mathcal{C}\left(\mathbf{V}^{+} \mathbf{X}\right)=\mathcal{C}(\mathbf{V X}) である。従って仮定より \mathcal{C}(\mathbf{V X}) \subset \mathcal{C}(\mathbf{X}) が成り立つ。以上から、示された。

定理 20.5.3 (一部) もし \mathbf{A} が対称かつ非負定値ならば、\mathbf{A}^{+}も対称かつ非負定値である。

補助定理 14.11.2. 任意の m \times n 行列 \mathbf{A} と任意の m \times m 対称非負定値行列 \mathbf{W} に対して、\mathcal{C}\left(\mathbf{A}^{\prime} \mathbf{W A}\right)=\mathcal{C}\left(\mathbf{A}^{\prime} \mathbf{W}\right), \mathcal{R}\left(\mathbf{A}^{\prime} \mathbf{W A}\right)=\mathcal{R}(\mathbf{W A}), \operatorname{rank}\left(\mathbf{A}^{\prime} \mathbf{W A}\right)= \operatorname{rank}(\mathbf{W A}) が成り立つ。

10.

定理 20.5.3の (3) の別な証明を定理20.4.5を用いてせよ.

定理20.5.3. \mathbf{A}をm\times n行列とし、(3) もし\mathbf{A} が対称かつ半正定値ならば, \mathbf{A}^{+}も対称かつ半正定値である. もし \mathbf{A} が対称かつ正定値ならば, \mathbf{A}^{+}も対称かつ正定値である (そしてもし \mathbf{A} が対称かつ非負定値ならば, \mathbf{A}^{+}も対称かつ非負定値である).

定理20.4.5. \mathbf{A} を (\mathbf{0}でない) n \times n 対称非負定値行列とする. このとき, 最大行階数の行列\mathbf{T}で\mathbf{A}=\mathbf{T}^{\prime}\mathbf{T}を満たすものに対して

\begin{aligned}\mathbf{A}^{+} & =\mathbf{T}^{\prime}\left(\mathbf{T A} \mathbf{T}^{\prime}\right)^{-1} \mathbf{T} \\& =\mathbf{T}^{\prime}\left(\mathbf{T} \mathbf{T}^{\prime}\right)^{-2} \mathbf{T} \\& =\mathbf{T}^{+}\left(\mathbf{T}^{+}\right)^{\prime}\end{aligned}
（ここで \left(\mathbf{T} \mathbf{T}^{\prime}\right)^{-2}=[(\mathbf{T} \mathbf{T}^{\prime})^{-1}]^2）である.

定理20.5.3 (1) より、\mathbf{A}が対称なら\mathbf{A}^{+}も対称である。

  1. \mathbf{A} = \mathbf{0}の場合、\mathbf{A}^{+} = \mathbf{0}であるため、\mathbf{A}も\mathbf{A}^{+}も半正定値

  2. \mathbf{A} \neq \mathbf{0}の場合、定理20.4.5より、最大行階数を持つ任意の行列\mathbf{T}で\mathbf{A} = \mathbf{T}'\mathbf{T}を満たすものに対して、

    \mathbf{A}^{+} = \mathbf{T}^{+}(\mathbf{T}^{+})'
    と表すことができる。ここで、\mathbf{T}の列数 (i.e., (\mathbf{T}^{+})'の列数) をnとおく。定理20.5.1 (1) より、\mathrm{rank} (\mathbf{T}^{+})' = \mathrm{rank} (\mathbf{T}^{+}) = \mathrm{rank} (\mathbf{T})であることから、系14.2.14にてらして、

  • \mathrm{rank} (\mathbf{T}) < nのとき、つまり\mathbf{A}が半正定値のとき、\mathbf{A}^{+}も半正定値
  • \mathrm{rank} (\mathbf{T}) = nのとき、つまり\mathbf{A}が正定値のとき、\mathbf{A}^{+}も正定値

系14.2.14. \mathbf{P}を任意のn \times m行列とする。もし\mathrm{rank}(\mathbf{P}) = mならば、\mathrm{P}'\mathrm{P}は正定値であり、もし\mathrm{rank}(\mathbf{P}) < mならば、\mathrm{P}'\mathrm{P}は半正定値である。

11.

\mathbf{C}をm \times n行列とする. 任意のm \times m冪等行列\mathbf{A}に対して, (\mathbf{A C})^{+} \mathbf{A}^{\prime}=(\mathbf{A C})^{+}であり, 任意のn \times n冪等行列\mathbf{B}に対して, \mathbf{B}^{\prime}(\mathbf{C B})^{+}=(\mathbf{C B})^{+}であることを示せ.

※\mathbf{B}も冪等行列という仮定がおそらく日本語訳時に問題設定から抜けている。原著ではそのように明示されている。

系 20.5.5. 任意の行列 \mathbf{A} に対して,

\mathbf{A}^{+}=\mathbf{A}^{\prime}\left(\mathbf{A} \mathbf{A}^{\prime}\right)^{+}=\left(\mathbf{A}^{\prime} \mathbf{A}\right)^{+} \mathbf{A}^{\prime}

系20.5.5により、

(\mathbf{A C})^{+}=\left[(\mathbf{A C})^{\prime} \mathbf{A C}\right]^{+}(\mathbf{A C})^{\prime}=\left[(\mathbf{A C})^{\prime} \mathbf{A C}\right]^{+} \mathbf{C}^{\prime} \mathbf{A}^{\prime},\\ (\mathbf{CB})^{+}=(\mathbf{CB})^{\prime}\left[\mathbf{CB}(\mathbf{CB})^{\prime}\right]^{+}=\mathbf{B}^{\prime} \mathbf{C}^{\prime}\left[\mathbf{CB}(\mathbf{CB})^{\prime}\right]^{+} .

従って、

\begin{aligned} (\mathbf{A C})^{+} \mathbf{A}^{\prime}=\left[(\mathbf{A C})^{\prime} \mathbf{A C}\right]^{+} \mathbf{C}^{\prime} \mathbf{A}^{\prime} \mathbf{A}^{\prime} &=\left[(\mathbf{A C})^{\prime} \mathbf{A C}\right]^{+} \mathbf{C}^{\prime}(\mathbf{A A})^{\prime} \\ &=\left[(\mathbf{A C})^{\prime} \mathbf{A C}\right]^{+} \mathbf{C}^{\prime} \mathbf{A}^{\prime}=(\mathbf{A C})^{+}, \end{aligned}
\begin{aligned} \mathbf{B}^{\prime}(\mathbf{C B})^{+}=\mathbf{B}^{\prime} \mathbf{B}^{\prime} \mathbf{C}^{\prime}\left[\mathbf{C B}(\mathbf{C B})^{\prime}\right]^{+} &=(\mathbf{B B})^{\prime} \mathbf{C}^{\prime}\left[\mathbf{C B}(\mathbf{C B})^{\prime}\right]^{+} \\ &=\mathbf{B}^{\prime} \mathbf{C}^{\prime}\left[\mathbf{C B}(\mathbf{C B})^{\prime}\right]^{+}=(\mathbf{C B})^{+} \end{aligned}

12.

\mathbf{a}を変数のn次元列ベクトルとし, n \times p行列\mathbf{X}とp次元列ベクトル\mathbf{d}で\mathbf{d} \in\mathcal{C}\left(\mathbf{X}^{\prime}\right)となるものを用いて\mathbf{a}に制約\mathbf{X}^{\prime} \mathbf{a}=\mathbf{d}を課す. n \times n対称非負定値行列\mathbf{V}とn次元列ベクトル\mathbf{b}で\mathbf{b} \in \mathcal{C}(\mathbf{V}, \mathbf{X})となるものに対してf(\mathbf{a})=\mathbf{a}^{\prime} \mathbf{V a}-2 \mathbf{b}^{\prime} \mathbf{a}と定義する. 更に, \mathbf{R}を\mathbf{V}=\mathbf{R}^{\prime} \mathbf{R}を満たす任意の行列, \mathbf{a}_0をn次元列ベクトルで\mathbf{X}^{\prime} \mathbf{a}_0=\mathbf{d}を満たすもの, \mathbf{s}をn次元列ベクトルで, あるp次元列ベクトル\mathbf{t}対して\mathbf{b}=\mathbf{V s}+\mathbf{X t}を満たすものとする.19.6 節と練習問題11の結果 （あるいは他のもの）を用いて, あるn次元列ベクトル\mathbf{w}に対して

\mathbf{a}_*=\mathbf{a}_0+\left[\mathbf{R}\left(\mathbf{I}-\mathbf{P}_{\mathbf{X}}\right)\right]^{+} \mathbf{R}\left(\mathbf{s}-\mathbf{a}_0\right)+\left\{\mathbf{I}-\left[\mathbf{R}\left(\mathbf{I}-\mathbf{P}_{\mathbf{X}}\right)\right]^{+} \mathbf{R}\right\}\left(\mathbf{I}-\mathbf{P}_{\mathbf{X}}\right) \mathbf{w}

のときかつそのときに限って, f(\mathbf{a})が（制約\mathbf{X}^{\prime} \mathbf{a}=\mathbf{d}の下で）点\mathbf{a}_*において最小値に達することを示せ.

\mathbf{Z}=\mathbf{I}-\mathbf{P}_{\mathbf{X}}とすると、第12章の定理12.3.4より\mathcal{C}(\mathbf{Z})=\mathcal{N}\left(\mathbf{X}^{\prime}\right)

そして、19.6節の制約条件下の最小化問題の結果を使うとf(\mathbf{a})は\mathbf{X}^{\prime} \mathbf{a}=\mathbf{d}の制約下で以下の点\mathbf{a}_*において最小値を取る。

\mathbf{a}_*=\mathbf{a}_0+\mathbf{Z}\left(\mathbf{Z}^{\prime} \mathbf{V Z}\right)^{+} \mathbf{Z}^{\prime}\left(\mathbf{b}-\mathbf{V} \mathbf{a}_0\right)+\left[\mathbf{I}-\mathbf{Z}\left(\mathbf{Z}^{\prime} \mathbf{V} \mathbf{Z}\right)^{+} \mathbf{Z}^{\prime} \mathbf{V}\right] \mathbf{Z} \mathbf{w}

さらに、定理12.3.4の(9)より\mathbf{Z}は対称で冪等となる。
従って系20.5.5と練習問題11より以下となる。

\mathbf{Z}\left(\mathbf{Z}^{\prime} \mathbf{V Z}\right)^{+} \mathbf{Z}^{\prime} \mathbf{V}=\mathbf{Z}\left[(\mathbf{R Z})^{\prime} \mathbf{R Z}\right]^{+}(\mathbf{R Z})^{\prime} \mathbf{R}=\mathbf{Z}(\mathbf{R Z})^{+} \mathbf{R}=(\mathbf{R Z})^{+} \mathbf{R}

系20.5.5 任意の行列\mathbf{A}に対して
\mathbf{A}^{+}=\mathbf{A}^{\prime}\left(\mathbf{A} \mathbf{A}^{\prime}\right)^{+}=\left(\mathbf{A}^{\prime} \mathbf{A}\right)^{+} \mathbf{A}^{\prime}

n \times n 行列 \mathbf{B} に対して， \mathbf{B}^{\prime}(\mathbf{C B})^{+}=(\mathbf{C B})^{+}

また、定理12.3.4の(1)に照らして\mathbf{Z}^{\prime} \mathbf{X}=\mathbf{Z} \mathbf{X}=\mathbf{0}なので以下となるので

\begin{aligned} \mathbf{Z}\left(\mathbf{Z}^{\prime} \mathbf{V Z}\right)^{+} \mathbf{Z}^{\prime}\left(\mathbf{b}-\mathbf{V} \mathbf{a}_0\right) &=\mathbf{Z}\left(\mathbf{Z}^{\prime} \mathbf{V Z}\right)^{+} \mathbf{Z}^{\prime}\left(\mathbf{V s}+\mathbf{X} \mathbf{t}-\mathbf{V} \mathbf{a}_0\right) \\ &=\mathbf{Z}\left(\mathbf{Z}^{\prime} \mathbf{V Z}\right)^{+} \mathbf{Z}^{\prime} \mathbf{V}\left(\mathbf{s}-\mathbf{a}_0\right)=(\mathbf{R Z})^{+} \mathbf{R}\left(\mathbf{s}-\mathbf{a}_0\right) \end{aligned}

定理12.3.4(1) \boldsymbol{P}_{\mathbf{X}} \mathbf{X}=\boldsymbol{X}

よって、f(\mathbf{a})は\mathbf{X}^{\prime} \mathbf{a}=\mathbf{d}の制約下の元、以下の点\mathbf{a}_*において最小値を取る。

\mathbf{a}_*=\mathbf{a}_0+\left[\mathbf{R}\left(\mathbf{I}-\mathbf{P}_{\mathbf{X}}\right)\right]^{+} \mathbf{R}\left(\mathbf{s}-\mathbf{a}_0\right)+\left\{\mathbf{I}-\left[\mathbf{R}\left(\mathbf{I}-\mathbf{P}_{\mathbf{X}}\right)\right]^{+} \mathbf{R}\right\}\left(\mathbf{I}-\mathbf{P}_{\mathbf{X}}\right) \mathbf{w}

13.

\mathbf{A}をn \times n対称非負定値行列, \mathbf{B}をn \times n行列とする. \mathbf{B}-\mathbf{A}を対称非負定値と仮定する (この場合には\mathbf{B}は対称で非負定値である). 定理18.3.4 と定理20.4.5 と 練習問題 1 と練習問題18.15(あるいは他のもの）を用いて, \operatorname{rank}(\mathbf{A})=\operatorname{rank}(\mathbf{B})のときかつそのときに限って, \mathbf{A}^{+}-\mathbf{B}^{+}が非負定値であることを示せ.

まず\operatorname{rank}(\mathbf{B}) = rとおき、r \gt 0であると仮定する。もしr = 0であれば明らかに\mathbf{B}=\mathbf{0}であり、練習問題18.15の結果から、問題設定の条件下では\mathcal{R}(\mathbf{A}) \subset \mathcal{R}(\mathbf{B}), \mathcal{C}(\mathbf{A}) \subset \mathcal{C}(\mathbf{B})が成立しており、補助定理4.2.2より\mathbf{A} = \mathbf{0}に限られる。したがってこれらのムーア-ペンローズ形逆行列\mathbf{A}^{+}, \mathbf{B}^{+}も\mathbf{0}となるので、\operatorname{rank}(\mathbf{A})=\operatorname{rank}(\mathbf{B}) = 0が成立し、かつ\mathbf{A}^{+}-\mathbf{B}^{+} = \mathbf{0}で非負定値となっていることが示される。

r \gt 0について定理14.3.7から\mathbf{B} = \mathbf{P}^{\prime} \mathbf{P}を満たす階数rのr\times n行列\mathbf{P}が存在することが言える。同様に、系14.2.14と系14.3.8から\mathbf{A} = \mathbf{Q}^{\prime}\mathbf{Q}となる列の数がnの（階数は任意の）行列\mathbf{Q}が存在する。

定理 14.3.7. n \times n行列\mathbf{A}(\neq \mathbf{0})は, \mathbf{A}=\mathbf{P}^{\prime} \mathbf{P}を満たす階数rのr \times n行列\mathbf{P}が存在するときかつそのときに限って, 階数rの対称非負定値行列である.
系 14.2.14. \mathbf{P}を任意のn \times m行列とする. m \times m行列\mathbf{P}^{\prime} \mathbf{P}は非負定値である. もし\operatorname{rank}(\mathbf{P})=mならば, \mathbf{P}^{\prime} \mathbf{P}は正定値であり, そうでなければ（もし\operatorname{rank}(\mathbf{P}) \lt m ならば）, \mathbf{P}^{\prime} \mathbf{P}は半正定値である.
系 14.3.8. n \times n行列 \mathbf{A}は, \mathbf{A}=\mathbf{P}^{\prime} \mathbf{P} を満たす（n個の列をもつ) 行列\mathbf{P}が存在するときかつそのときに限って, 対称非負定値行列である.

練習問題18.15の結果から\mathcal{R}(\mathbf{A}) \subset \mathcal{R}(\mathbf{B})であり、さらに\mathcal{R}(\mathbf{B}) = \mathcal{R}(\mathbf{P^{\prime}}\mathbf{P}) = \mathcal{R}(\mathbf{P}), \mathcal{R}(\mathbf{A}) = \mathcal{R}(\mathbf{Q^{\prime}\mathbf{Q}}) = \mathcal{R}(\mathbf{Q})( \because 定理4.4.6)であるから、\mathcal{R}(\mathbf{Q}) \subset \mathcal{R}(\mathbf{P})が成立する。ゆえに定理4.2.2から

\mathbf{Q} = \mathbf{KP}

となるような列の数がrの行列\mathbf{K}が存在する。これを用いて\mathbf{B-A}を表すと

\mathbf{B-A} = \mathbf{P^{\prime}}\mathbf{P} - \mathbf{Q^{\prime}}\mathbf{Q} = \mathbf{P^{\prime}}(\mathbf{I} - \mathbf{K^{\prime}}\mathbf{K})\mathbf{P}

となる。また\mathbf{P}は最大行階数を持っているので右逆行列\mathbf{R}が存在し（補助定理8.1.1）、

\mathbf{I} - \mathbf{K^{\prime}}\mathbf{K} = (\mathbf{PR})^{\prime}(\mathbf{I} - \mathbf{K^{\prime}}\mathbf{K})(\mathbf{PR}) = \mathbf{R}^{\prime}(\mathbf{B} - \mathbf{A})\mathbf{R}

となる。ゆえに、定理14.2.9の(1)から\mathbf{I} - \mathbf{K^{\prime}}\mathbf{K}は非負定値行列である。

ここで問題文の設定から\operatorname{rank}(\mathbf{A})=\operatorname{rank}(\mathbf{B}) = rであることを仮定する。このとき

r = \operatorname{rank}(\mathbf{Q}) = \operatorname{rank}(\mathbf{KP}) \le \operatorname{rank}(\mathbf{K})

となり、また\mathbf{K}の列の数はrなので\operatorname{rank}(\mathbf{K}) \le rであるから、\operatorname{rank}(\mathbf{K}) = rである。したがって系14.2.14から\mathbf{K}^{\prime}\mathbf{K}は対称正定値行列となる。上述の通り\mathbf{I}-\mathbf{K}^{\prime}\mathbf{K}は対称かつ非負定値(すなわち，正定値あるいは半正定値)なので定理18.3.4(2)から(\mathbf{K}^{\prime}\mathbf{K})^{-1}-\mathbf{I}は非負定値である。

そして\mathbf{A} = (\mathbf{KP})^{\prime}\mathbf{KP} = \mathbf{P}^{\prime}(\mathbf{K}^{\prime}\mathbf{K})\mathbf{P}であるから練習問題1の結果より

\mathbf{A}^{+}=\mathbf{P}^{+}\left(\mathbf{K}^{\prime} \mathbf{K}\right)^{-1}\left(\mathbf{P}^{\prime}\right)^{+}=\mathbf{P}^{+}\left(\mathbf{K}^{\prime} \mathbf{K}\right)^{-1}\left(\mathbf{P}^{+}\right)^{\prime}

となる。そして定理20.4.5の結果から\mathbf{B}^{+}=\mathbf{P}^{+}\left(\mathbf{P}^{+}\right)^{\prime}となるので、

\mathbf{A}^{+}-\mathbf{B}^{+}=\mathbf{P}^{+}\left[\left(\mathbf{K}^{\prime} \mathbf{K}\right)^{-1}-\mathbf{I}\right]\left(\mathbf{P}^{+}\right)^{\prime}

と書ける。したがって定理14.2.9(1)から\mathbf{A}^{+}-\mathbf{B}^{+}は非負定値である。

反対に、\mathbf{A}^{+}-\mathbf{B}^{+}が非負定値行列であると仮定する。このとき練習問題18.15の結果から\mathcal{R}(\mathbf{B}^{+}) \subset \mathcal{R}(\mathbf{A}^{+})となり、\operatorname{rank}\left(\mathbf{B}^{+}\right) \leq \operatorname{rank}\left(\mathbf{A}^{+}\right)となる。これと定理20.5.1の(1)(\operatorname{rank}(\mathbf{A}^{+}) = \operatorname{rank}(\mathbf{A}))から\operatorname{rank}\left(\mathbf{B}\right) \leq \operatorname{rank}\left(\mathbf{A}\right)となる。これに加えて問題設定の条件下では\mathcal{R}(\mathbf{A}) \subset \mathcal{R}(\mathbf{B})となるので\operatorname{rank}(\mathbf{A}) \leq \operatorname{rank}(\mathbf{B})となる。したがって、\operatorname{rank}(\mathbf{A})=\operatorname{rank}(\mathbf{B})となる。

補助定理8.1.1. m \times n行列\mathbf{A}は, \operatorname{rank}(\mathbf{A})=mのときかつそのときに限って (すなわち, \mathbf{A}が最大行階数をもつときかつそのときに限って）右逆行列をもつ. また \operatorname{rank}(\mathbf{A})=nのときかつそのときに限って（すなわち, \mathbf{A}が最大列階数をもつときかつそのときに限って）左逆行列をもつ.

定理14.2.9. \mathbf{A}をn \times n行列, \mathbf{P}をn \times m行列とする. (1) もし\mathbf{A}が非負定値ならば, \mathbf{P}^{\prime} \mathbf{A P}も非負定値である. (2) もし\mathbf{A}が非負定値でかつ\operatorname{rank}(\mathbf{P})\lt mならば, \mathbf{P}^{\prime} \mathbf{AP}は半正定値である. (3) もし\mathbf{A}が正定値でかつ\operatorname{rank}(\mathbf{P})=mならば, \mathbf{P}^{\prime} \mathbf{A P}は正定値である.

系14.2.14. \mathbf{P}を任意のn \times m行列とする. m \times m行列\mathbf{P}^{\prime} \mathbf{P}は非負定値である. もし\operatorname{rank}(\mathbf{P})=mならば, \mathbf{P}^{\prime} \mathbf{P}は正定値であり, そうでなければ（もし\operatorname{rank}(\mathbf{P}) \lt mならば), \mathbf{P}^{\prime} \mathbf{P}は半正定値である.

定理 18.3.4. \mathbf{A}をn \times n対称正定値行列, \mathbf{B}をn \times n行列とする.
(1) もし\mathbf{B}-\mathbf{A}が正定値，あるいはもっと一般に，もし\mathbf{B}-\mathbf{A}が非負定値かつ非特異ならば（この場合には\mathbf{B}は正定値である) , \mathbf{A}^{-1}-\mathbf{B}^{-1}は正定値である.
(2) もし\mathbf{B}-\mathbf{A}が対称かつ半正定値ならば（この場合には\mathbf{B}は対称かつ正定値である), \mathbf{A}^{-1}-\mathbf{B}^{-1}は半正定値である.

定理 20.4.5. \mathbf{A}を（\mathbf{0}でない）n \times n対称非負定値行列とする. このとき, 最大行階数の行列\mathbf{T}で\mathbf{A}=\mathbf{T}^{\prime} \mathbf{T}を満たすものに対して

\begin{aligned}\mathbf{A}^{+} &=\mathbf{T}^{\prime}\left(\mathbf{T A T}^{\prime}\right)^{-1} \mathbf{T} \\&=\mathbf{T}^{\prime}\left(\mathbf{T} \mathbf{T}^{\prime}\right)^{-2} \mathbf{T} \\&=\mathbf{T}^{+}\left(\mathbf{T}^{+}\right)^{\prime}\end{aligned}
（ここで\left(\mathbf{T} \mathbf{T}^{\prime}\right)^{-2}=[\left(\mathbf{T} \mathbf{T}^{\prime}\right)^{-1}]^2)である.

練習問題18.15 \mathbf{A}をn \times n対称非負定値行列, \mathbf{B}をn \times n行列とする. もし\mathbf{B}-\mathbf{A}が非負定値ならば (この場合には\mathbf{B}も非負定値である), \mathcal{R}(\mathbf{A}) \subset \mathcal{R}(\mathbf{B}), \mathcal{C}(\mathbf{A}) \subset \mathcal{C}(\mathbf{B})であることを示せ.

Discussion