はじめに
今回は統計検定1級より 2014年 統計数理 問題4 の解答を記載します。
問題は計画行列の評価において、推定量の分散だけでなく非心度も考慮したものであり、
統計検定1級の中でもかなりハイレベルな問題（個人的には最難関）です。
公式の解答等では飛躍があり、理解するのが非常に難しい問題ですが、一助となれば幸いです。
問題については著作物のため割愛します。
[1]
[計画行列 X]
計画行列の i 行は i 回目にどの物体を測るか。第 j 列は j 番目の物体は何回目に測定するかを示す。従って(1), (2)における計画行列 X は
(1)
X_{(1)}=\begin{pmatrix}
1 & 0 & 0 & 0 & 0 \\\
1 & 0 & 0 & 0 & 0 \\\
0 & 1 & 0 & 0 & 0 \\\
0 & 1 & 0 & 0 & 0 \\\
0 & 0 & 1 & 0 & 0 \\\
0 & 0 & 1 & 0 & 0 \\\
0 & 0 & 0 & 1 & 0 \\\
0 & 0 & 0 & 1 & 0 \\\
0 & 0 & 0 & 0 & 1 \\\
0 & 0 & 0 & 0 & 1 \\
\end{pmatrix}(2)
X_{(2)}=\begin{pmatrix}
1 & 1 & 0 & 0 & 0 \\\
1 & 0 & 1 & 0 & 0 \\\
1 & 0 & 0 & 1 & 0 \\\
1 & 0 & 0 & 0 & 1 \\\
0 & 1 & 1 & 0 & 0 \\\
0 & 1 & 0 & 1 & 0 \\\
0 & 1 & 0 & 0 & 1 \\\
0 & 0 & 1 & 1 & 0 \\\
0 & 0 & 1 & 0 & 1 \\\
0 & 0 & 0 & 1 & 1 \\
\end{pmatrix}
[正規方程式]
(\boldsymbol{x} -X \boldsymbol{\theta}) を最小にするような \boldsymbol{\theta} を計算する。
\begin{aligned}
||\boldsymbol{x} -X \boldsymbol{\theta}||^{2}
&=(\boldsymbol{x} -X \boldsymbol{\theta})' (\boldsymbol{x} -X \boldsymbol{\theta})
=(\boldsymbol{x}' -\boldsymbol{\theta}'X') (\boldsymbol{x} -X \boldsymbol{\theta})\\
&=\boldsymbol{x}'\boldsymbol{x}-\boldsymbol{x}'X \boldsymbol{\theta} -
\boldsymbol{\theta} 'X' \boldsymbol{x} + \boldsymbol{\theta}'X'X \boldsymbol{\theta}\\
&=\boldsymbol{x}'\boldsymbol{x} - 2 \boldsymbol{\theta} 'X' \boldsymbol{x} +
\boldsymbol{\theta}'X'X \boldsymbol{\theta}
\end{aligned}
\dfrac{d}{d \boldsymbol{\theta}}||\boldsymbol{x} -X \boldsymbol{\theta}||^{2}=2X'X \boldsymbol{\theta} -2X'\boldsymbol{x} = \boldsymbol{0} とすると、
X'X\boldsymbol{\theta}=X'\boldsymbol{x}
よって正規方程式は真値 \boldsymbol{\theta} の推定量を \hat{\boldsymbol{\theta}} として、
X'X \hat{\boldsymbol{\theta}}=X'\boldsymbol{x}
\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x}
となる。'は転置を表す。
[2]
[1]より
\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x}=(X'X)^{-1}X'(X\boldsymbol{\theta}+\boldsymbol{\varepsilon})=\boldsymbol{\theta}+(X'X)^{-1}X'\boldsymbol{\varepsilon}
よって、
\begin{aligned}
V[\hat{\boldsymbol{\theta}}]&=V[(X'X)^{-1}X'\boldsymbol{\varepsilon}]
=(X'X)^{-1}X'E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}'] ((X'X)^{-1}X')'\\
&=(X'X)^{-1}X' \sigma^{2}IX(X'X)^{-1}=(X'X)^{-1}\sigma^{2}
\end{aligned}(1)
\begin{aligned}
X_{(1)}'X_{(1)}&=
\begin{pmatrix}
1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\
0 & 0 & 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\
0 & 0 & 0 & 0 & 1 & 1 & 0 & 0 & 0 & 0 \\
0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 & 0 & 0 \\
0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & 0 & 0 & 0 & 0 \\
1 & 0 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 & 0 \\
0 & 0 & 1 & 0 & 0 \\
0 & 0 & 1 & 0 & 0 \\
0 & 0 & 0 & 1 & 0 \\
0 & 0 & 0 & 1 & 0 \\
0 & 0 & 0 & 0 & 1 \\
0 & 0 & 0 & 0 & 1 \\
\end{pmatrix}\\&=
\begin{pmatrix}
2 & 0 & 0 & 0 & 0 \\
0 & 2 & 0 & 0 & 0 \\
0 & 0 & 2 & 0 & 0 \\
0 & 0 & 0 & 2 & 0 \\
0 & 0 & 0 & 0 & 2 \\
\end{pmatrix}=2
\begin{pmatrix}
1 & 0 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 & 0 \\
0 & 0 & 1 & 0 & 0 \\
0 & 0 & 0 & 1 & 0 \\
0 & 0 & 0 & 0 & 1 \\
\end{pmatrix}\end{aligned}
V[\hat{\boldsymbol{\theta}}]=\sigma^{2}(X_{(1)}'X_{(1)})^{-1}=\dfrac{\sigma^{2}}{2}
\begin{pmatrix}
1 & 0 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 & 0 \\
0 & 0 & 1 & 0 & 0 \\
0 & 0 & 0 & 1 & 0 \\
0 & 0 & 0 & 0 & 1 \\
\end{pmatrix}
V[\hat{\theta_i}]=\dfrac{\sigma^{2}}{2}(i=1,...,5)(2)
\begin{aligned}
X_{(2)}'X_{(2)}&=
\begin{pmatrix}
1 & 1 & 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\
1 & 0 & 0 & 0 & 1 & 1 & 1 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 & 1 & 0 & 0 & 1 & 1 & 0 \\
0 & 0 & 1 & 0 & 0 & 1 & 0 & 1 & 0 & 1 \\
0 & 0 & 0 & 1 & 0 & 0 & 1 & 0 & 1 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & 1 & 0 & 0 & 0 \\
1 & 0 & 1 & 0 & 0 \\
1 & 0 & 0 & 1 & 0 \\
1 & 0 & 0 & 0 & 1 \\
0 & 1 & 1 & 0 & 0 \\
0 & 1 & 0 & 1 & 0 \\
0 & 1 & 0 & 0 & 1 \\
0 & 0 & 1 & 1 & 0 \\
0 & 0 & 1 & 0 & 1 \\
0 & 0 & 0 & 1 & 1 \\
\end{pmatrix}\\&=
\begin{pmatrix}
4 & 1 & 1 & 1 & 1 \\
1 & 4 & 1 & 1 & 1 \\
1 & 1 & 4 & 1 & 1 \\
1 & 1 & 1 & 4 & 1 \\
1 & 1 & 1 & 1 & 4 \\
\end{pmatrix}\end{aligned}
V[\hat{\boldsymbol{\theta}}]=\sigma^{2}(X_{(2)}'X_{(2)})^{-1}=\dfrac{\sigma^{2}}{24}
\begin{pmatrix}
7 & -1 & -1 & -1 & -1 \\
-1 & 7 & -1 & -1 & -1 \\
-1 & -1 & 7 & -1 & -1 \\
-1 & -1 & -1 & 7 & -1 \\
-1 & -1 & -1 & -1 & 7 \\
\end{pmatrix}
V[\hat{\theta_i}]=\dfrac{7}{24}\sigma^{2}(i=1,...,5)
[3]
帰無仮説 H_{0} \big( \theta_{1}=,\dots,=\theta_{5} (=\theta_{0} とする ) \big) が真の場合においては、自由度が 5 \rightarrow 1 と変化することにより計画行列 X が異なることに注意する。
H_{0} における計画行列 X を X_{0}、\boldsymbol{\theta}を \boldsymbol{\theta}_{0} とすると、
(1)の場合、第 i 回目の測定において、 (i=1,\dots,10)
x_i=\theta_{0}+\varepsilon_i
となることから、
\begin{aligned}
&\boldsymbol{x}=\theta_{0}\boldsymbol{i}_{10}+\boldsymbol{\varepsilon}\\
&X_{0(1)}=\boldsymbol{i}_{10},\boldsymbol{\theta_{0}}=\theta_{0}
\end{aligned}
(\boldsymbol{i}_{n} はすべての成分が 1 の n 次ベクトル)
と表せる。同様に(2)では第 i 回目の測定においては (i=1,\dots,10)
x_i=2\theta_{0}+\varepsilon_i
となることから、
\begin{aligned}
&\boldsymbol{x}=2\theta_{0}\boldsymbol{i}_{10}+\boldsymbol{\varepsilon}\\
&X_{0(2)}=2\boldsymbol{i}_{10},\boldsymbol{\theta_{0}}=\theta_{0}
\end{aligned}
\hat{\boldsymbol{\theta}}_{0}については
\begin{aligned}
\hat{\boldsymbol{\theta}}_{0(1)}&=(\boldsymbol{i}_{10}'\boldsymbol{i}_{10})^{-1}\boldsymbol{i}_{10}'\boldsymbol{x}=10^{-1}(x_{1}+\cdots+x_{10})=\bar{x}\\
\hat{\boldsymbol{\theta}}_{0(2)}&=(2\boldsymbol{i}_{10}'2\boldsymbol{i}_{10})^{-1}2\boldsymbol{i}_{10}'\boldsymbol{x}=40^{-1}\cdot2(x_{1}+\cdots+x_{10})=\dfrac{\bar{x}}{2}
\end{aligned}
よって、X_{0}\hat{\boldsymbol{\theta}}_{0} については(1), (2)で等しく、
X_{0}\hat{\boldsymbol{\theta}}_{0}=\bar{x}\boldsymbol{i_{10}}
となる。
また、X_{0} については(1), (2) の両者の場合において、以下のように表現することができる。
X_{0}=XB (B=\boldsymbol{i}_{5})
求める検定統計量は、F 統計量であることから、カイ二乗分布に従い、かつ互いに独立な 2 つの確率変数が必要である。
観測値と推定値の差を二乗して合計した残差平方和はカイ二乗分布に従うことから、残差平方和を使用する。
単純に帰無仮説 H_{0} における残差平方和 S_{0} と対立仮説 H_{1} における残差平方和 S_{1} を使用することはできない。両者は独立ではないためである。
そこで、S_{1}, S_{0}-S_{1} を使用する。ここで、S_{0}, S_{1}は以下のように表せる。
S_{0} = ||\boldsymbol{x}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2},S_{1}=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}
まず、S_{1}, S_{0}-S_{1} をそれぞれ求め、S_{1} と S_{0}-S_{1} が独立であることを証明する。
S_{0} を分解すると、
\begin{aligned}
S_{0}&=||(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})+(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})||^{2}\\
&=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}+2(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})'(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}\\
&=S_{1}+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}+2(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})'(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})
\end{aligned}
となる。
ここで、\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x},\space \hat{\boldsymbol{\theta}}_{0}=(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x} から、以下のように A_{2},A_{3} を定義する。
\begin{aligned}
\boldsymbol{x}-X\hat{\boldsymbol{\theta}}&=\boldsymbol{x}-X(X'X)^{-1}X'\boldsymbol{x}=(I_{10}-X(X'X)^{-1}X')\boldsymbol{x}\\
&=A_{3}\boldsymbol{x}\\
X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}&=
(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\
&=A_{2}\boldsymbol{x}
\end{aligned}
よって、
\begin{aligned}
(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})'
(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})
&=\boldsymbol{x}'A_{3}'A_{2}\boldsymbol{x}\\
&=\boldsymbol{x}'(I_{10}-X(X'X)^{-1}X')'
(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\
&=\boldsymbol{x}'(I_{10}-X(X'X)^{-1}X')
(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\
&=\boldsymbol{x}'(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}'-X(X'X)^{-1}X'+X(X'X)^{-1}X'X_{0}(X_{0}'X_{0})^{-1}X_{0}')
\boldsymbol{x}\\
&=\boldsymbol{x}'(X(X'X)^{-1}X'-I_{10})X_{0}(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\
&=\boldsymbol{x}'(X(X'X)^{-1}X'-I_{10})XB(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\
&=\boldsymbol{x}'(X-X)B(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\
&=\boldsymbol{x}'O\boldsymbol{x}=0
\end{aligned}
ゆえに、
S_{0}=S_{1}+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}\\
S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}
また、
\begin{aligned}
Cov[(\boldsymbol{x}-X\hat{\boldsymbol{\theta}}),(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})]
&=E[(A_{3}\boldsymbol{x})(A_{2}\boldsymbol{x})']
=A_{3}E[\boldsymbol{x}\boldsymbol{x}']A_{2}'\\
&=A_{3}V[\boldsymbol{x}]A_{2}
=A_{3}V[\boldsymbol{\varepsilon}]A_{2}\\
&=A_{3}\sigma^{2}I_{10}A_{2}
=\sigma^{2}A_{3}A_{2}=O
\end{aligned}
となる。よって、(\boldsymbol{x}-X\hat{\boldsymbol{\theta}}) と
(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}) は独立であることから、
S_{1}=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2},S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}
も同様に独立である。
次に、帰無仮説 H_{0} が真である場合の S_{1},S_{0} - S_{1} が従う分布について考える。
H_{0} においては \boldsymbol{x} = X_{0}\boldsymbol{\theta}_{0} + \boldsymbol{\varepsilon} であるから、
S_{1} = ||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2} については
\begin{aligned}
\boldsymbol{x} - X\hat{\boldsymbol{\theta}}
&= A_3\boldsymbol{x}
= A_{3}X_{0}\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\
&= (I_{10}-X(X'X)^{-1}X')XB\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\
&= (X-X)B\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\
&= A_{3}\boldsymbol{\varepsilon}
\end{aligned}
\begin{aligned}
\dfrac{S_{1}}{\sigma^{2}}
&= \dfrac{1}{\sigma^{2}} ||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}
= \dfrac{1}{\sigma^{2}}\boldsymbol{\varepsilon}'A_{3}'A_{3}\boldsymbol{\varepsilon}\\
&=\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{3}
\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)
\end{aligned}
S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2} については
\begin{aligned}
X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}
&= A_{2}\boldsymbol{x}
= A_{2}X_{0}\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\
&= (X(X'X)^{-1}X' - X_{0}(X_{0}'X_{0})^{-1}X_{0}')X_{0}\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\
&= (X(X'X)^{-1}X'X_{0} - X_{0})\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\
&= (X(X'X)^{-1}X'X - X)B\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\
&= A_{2}\boldsymbol{\varepsilon}
\end{aligned}
\begin{aligned}
\dfrac{S_{0} - S_{1}}{\sigma^{2}}
&= \dfrac{1}{\sigma^{2}} ||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}
= \dfrac{1}{\sigma^{2}}\boldsymbol{\varepsilon}'A_{2}'A_{2}\boldsymbol{\varepsilon}\\
&=\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{2}
\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)
\end{aligned}
ここで、上記の A_{2}(=X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}'),A_{3}(=I_{10}-X(X'X)^{-1}X') に加え、A_{1}=X_{0}(X_{0}'X_{0})^{-1}X_{0}'とすると、以下の式を満たす。この式から A_{1}, A_{2}, A_{3} がどのような行列であるかを考える。
\left\{
\begin{align*}
&A_{1}+A_{2}+A_{3}=I_{10} \hspace{15pt} \text{(i)}\\
&A_{1}A_{2} = O \hspace{54pt} \text{(ii)} \\
&A_{3}A_{2} = O \hspace{53pt} \text{(iii)} \\
&A_{1}^{2} = A_{1} \hspace{61pt} \text{(iv)} \\
&A_{3}^{2} = A_{3} \hspace{62pt} \text{(v)} \\
\end{align*}
\right.
\text{(ii)}
\begin{aligned}
A_{1}A_{2}
&= X_{0}(X_{0}'X_{0})^{-1}X_{0}'(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\\
&= X_{0}(X_{0}'X_{0})^{-1}X_{0}'X(X'X)^{-1}X'- X_{0}(X_{0}'X_{0})^{-1}X_{0}' \\
&= X_{0}(X_{0}'X_{0})^{-1}X_{0}'(X(X'X)^{-1}X'-I_{10}) \\
&= X_{0}(X_{0}'X_{0})^{-1}B'X'(X(X'X)^{-1}X'-I_{10}) \\
&= X_{0}(X_{0}'X_{0})^{-1}B'(X'-X') \\
&= O
\end{aligned}
\text{(iii)}
\begin{aligned}
A_{3}A_{2}
&= (I_{10}-X(X'X)^{-1}X')(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\\
&= X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}' - X(X'X)^{-1}X'
+ X(X'X)^{-1}X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\
&= (X(X'X)^{-1}X'-I_{10})X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\
&= (X(X'X)^{-1}X'-I_{10})XB(X_{0}'X_{0})^{-1}X_{0}'\\
&= (X-X)B(X_{0}'X_{0})^{-1}X_{0}'\\
&= O
\end{aligned}
\text{(iv)}
\begin{aligned}
A_{1}^{2}
&=X_{0}(X_{0}'X_{0})^{-1}X_{0}'X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\
&=X_{0}(X_{0}'X_{0})^{-1}X_{0}'=A_{1}
\end{aligned}
\text{(v)}
\begin{aligned}
A_{3}^{2}
&=(I_{10}-X(X'X)^{-1}X')(I_{10}-X(X'X)^{-1}X')\\
&=I_{10}+X(X'X)^{-1}X'-2X(X'X)^{-1}X'\\
&=I_{10}-X(X'X)^{-1}X'=A_{3}
\end{aligned}
\text{(i)} に A_{2} をかけることにより、
A_{1}A_{2} + A_{2}^{2} + A_{3}A_{2} = A_{2}
\text{(ii)},\text{(iii)} より
また、A_{i}'=A_{i} (i=1,2,3)を満たすことから、 A_{1}, A_{2}, A_{3} はすべて対称冪等行列である。
対称冪等行列は rank = trace となることから(後述)、\text{(i)}より
\begin{aligned}
tr(A_{1} + A_{2} + A_{3} ) = tr (I_{10}) \\
tr(A_{1}) + tr(A_{2}) + tr(A_{3}) = 10 \\
rank(A_{1}) + rank(A_{2}) + rank(A_{3}) = 10
\end{aligned}
A_{1}, A_{2}, A_{3} の rank を求めると、
\begin{aligned}
rank(A_{1})&=tr(\{X_{0}\}\{(X_{0}'X_{0})^{-1}X_{0}'\})\\
&=tr((X_{0}'X_{0})^{-1}X_{0}'X_{0})\\
&=tr(1)=1\\
rank(A_{3})&=tr(I_{10}) - tr(\{X\}\{(X'X)^{-1}X'\})\\
&=10 - tr({(X'X)^{-1}X'X})=10-tr(I_{5})=5 \\
rank(A_{2})&=10 - rank(A_{1}) - rank(A_{3}) = 4
\end{aligned}
まとめると、
\left\{
\begin{aligned}
&A_{1}: rank \space 1 \space \small の対称冪等行列\\
&A_{2}: rank \space 4 \space \small の対称冪等行列\\
&A_{3}: rank \space 5 \space \small の対称冪等行列
\end{aligned}
\right.
rank = r の対称冪等行列 A_i について考える。
対称行列の性質により、A_{i}=C'\Lambda C(C:直交行列)と固有値分解できる。
また、冪等行列の性質により、固有値が 0,1 のみで構成される。ゆえにA_{i} の rank は r であることから、\Lambda=diag(1,\dots ,1,0, \dots ,0)と表せる。( 1 が r 個、 0 が 10-r 個)
さらに、\boldsymbol{{\varepsilon}}\sim N(\boldsymbol{0},\sigma^{2}I_{10}) より, 以下のように \boldsymbol{u},\boldsymbol{z} を定義すると、
\left\{
\begin{aligned}
&\boldsymbol{u}=\dfrac{\boldsymbol{\varepsilon}}{\sigma}\sim N(\boldsymbol{0},I_{10}) \\
&\boldsymbol{z}=C\boldsymbol{u} \sim N(\boldsymbol{0},I_{10})\big(\because C:\small 直交行列\big)
\end{aligned}
\right.
\begin{aligned}
\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{i}
\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)
&=\boldsymbol{u}'A_{i}\boldsymbol{u}
=\boldsymbol{u}'C'\Lambda C\boldsymbol{u}\\
&=(C\boldsymbol{u})'\Lambda C\boldsymbol{u}
=\boldsymbol{z}'\Lambda \boldsymbol{z}
=\sum_{i=1}^{r}z_{i}^{2}\sim \chi^{2}(r)
\end{aligned}
また、前述のように、 A_{i} の rank と trace には以下のような関係式がある。
\begin{aligned}
rank(A_{i})
&= rank(\Lambda) =tr(\Lambda)
= tr(\{C\}\{A_{i}C'\})
= tr(A_{i}C'C) \\
&= tr(A_{i})
\end{aligned}
よって、
\left\{
\begin{aligned}
\dfrac{S_{1}}{\sigma^{2}} &\sim \chi^{2}(5) \\
\dfrac{S_{0}-S_{1}}{\sigma^{2}} &\sim \chi^{2}(4)
\end{aligned}
\right.
以上より、
F=\dfrac{\dfrac{S_{0}-S_{1}}{\sigma^{2}}/4}{\dfrac{S_{1}}{\sigma^{2}}/5}
=\dfrac{||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}||^{2}/4}
{||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}/5} \sim F(4,5)
[4]
題意より、F の分子の (X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}) の期待値 E[X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}]が問題文における期待値のベクトル(\mu_{1},\dots,\mu_{10})'\big(= \boldsymbol{\mu}とする\big) に該当する。
ゆえに、非心度 \lambda = \boldsymbol{\mu}'\boldsymbol{\mu} と表せる。
対立仮説の下では \boldsymbol{x} = X\boldsymbol{\theta} + \boldsymbol{\varepsilon} となることから、
X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}
=A_{2}\boldsymbol{x}= A_{2}( X\boldsymbol{\theta} + \boldsymbol{\varepsilon})
=A_{2}X\boldsymbol{\theta}+A_{2}\boldsymbol{\varepsilon}
よって、
\begin{aligned}
\boldsymbol{\mu}
&=E[ X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}} ]\\
&=A_{2}X\boldsymbol{\theta}=(X(X'X)^{-1}X'X - X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\
&=(X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}
\end{aligned}
\begin{aligned}
\lambda
&= ((X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta})'
(X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\
&= \boldsymbol{\theta}'(X'X - 2X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X
+ X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\
&= \boldsymbol{\theta}'(X'X - X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\
\end{aligned}
ここで、X_{0(1)} = \boldsymbol{i}_{10} , X_{0(2)} = 2\boldsymbol{i}_{10} より X_{0}= k\boldsymbol{i}_{10} とおくと、
\begin{aligned}
\lambda
&= \boldsymbol{\theta}'(X'X - X'k\boldsymbol{i}_{10}(k\boldsymbol{i}_{10}'k\boldsymbol{i}_{10})^{-1}k\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\
&= \boldsymbol{\theta}'(X'X - k^{2}(10k^{2})^{-1}X'\boldsymbol{i}_{10}\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\
&= \boldsymbol{\theta}'(X'X - \dfrac{1}{10}X'\boldsymbol{i}_{10}\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\
&= \boldsymbol{\theta}'(X'X - \dfrac{1}{10} X'\boldsymbol{i}_{10}(X'\boldsymbol{i}_{10})')\boldsymbol{\theta}
\end{aligned}
また、(1), (2) における X'X, X'\boldsymbol{i}_{10} は
\left\{
\begin{aligned}
X_{(1)}'X_{(1)}&=
\begin{pmatrix}
2 & 0 & 0 & 0 & 0 \\\
0 & 2 & 0 & 0 & 0 \\\
0 & 0 & 2 & 0 & 0 \\\
0 & 0 & 0 & 2 & 0 \\\
0 & 0 & 0 & 0 & 2 \\
\end{pmatrix}=2I_{5}\\
X_{(2)}'X_{(2)}&=
\begin{pmatrix}
4 & 1 & 1 & 1 & 1 \\\
1 & 4 & 1 & 1 & 1 \\\
1 & 1 & 4 & 1 & 1 \\\
1 & 1 & 1 & 4 & 1 \\\
1 & 1 & 1 & 1 & 4 \\
\end{pmatrix}\\
&=3
\begin{pmatrix}
1 & 0 & 0 & 0 & 0 \\\
0 & 1 & 0 & 0 & 0 \\\
0 & 0 & 1 & 0 & 0 \\\
0 & 0 & 0 & 1 & 0 \\\
0 & 0 & 0 & 0 & 1 \\
\end{pmatrix} +
\begin{pmatrix}
1 & 1 & 1 & 1 & 1 \\\
1 & 1 & 1 & 1 & 1 \\\
1 & 1 & 1 & 1 & 1 \\\
1 & 1 & 1 & 1 & 1 \\\
1 & 1 & 1 & 1 & 1 \\
\end{pmatrix}\\
&=3I_{5}+\boldsymbol{i}_{5}\boldsymbol{i}_{5}'
\end{aligned}
\right.
\left\{
\begin{aligned}
X_{(1)}'\boldsymbol{i_{10}} &= 2\boldsymbol{i_{5}}\\
X_{(2)}'\boldsymbol{i_{10}} &= 4\boldsymbol{i_{5}}\\
\end{aligned}
\right.
\begin{aligned}
\lambda_{(1)}
&=\boldsymbol{\theta}'2I_{5}\boldsymbol{\theta}
-\dfrac{1}{10}\boldsymbol{\theta}'2\boldsymbol{i}_{5} 2\boldsymbol{i}_{5}'\boldsymbol{\theta}\\
&=2\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{2}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}
= 2\Bigg(\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{1}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}\Bigg)
\\&= 2\sum_{i=1}^{5}{(\theta_{i}-\bar{\theta})^{2}}\Bigg(\bar{\theta}=\dfrac{1}{5}\sum_{i=1}^{5}{\theta_{i}}\Bigg)
\end{aligned}
\begin{aligned}
\lambda_{(2)}
&=\boldsymbol{\theta}'(3I_{5} + \boldsymbol{i}_{5}\boldsymbol{i}_{5}')\boldsymbol{\theta}
-\dfrac{1}{10}\boldsymbol{\theta}'4\boldsymbol{i}_{5} 4\boldsymbol{i}_{5}'\boldsymbol{\theta}\\
&=3\sum_{i=1}^{5}{\theta_{i}^{2}} + \Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}
-\dfrac{8}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}
= 3\Bigg(\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{1}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}\Bigg)
\\&= 3\sum_{i=1}^{5}{(\theta_{i}-\bar{\theta})^{2}}
\end{aligned}
[5]
推定量の分散においては、(2)の方が(1)より小さいため、(2)の方法が適している。
非心度においては (2) の方が (1) よりも大きいため、 (2)の方法が適している。
ゆえに、(2) の方法が (1) よりも優れているといえる。
(非心度が大きいほうが、対立仮説が真の場合に検定統計量 F の分子が大きくなり、有意になりやすくなる。)
Discussion