統計検定1級 2014年 統計数理 問題4 解答例

はじめに

今回は統計検定1級より 2014年 統計数理 問題4 の解答を記載します。
問題は計画行列の評価において、推定量の分散だけでなく非心度も考慮したものであり、
統計検定1級の中でもかなりハイレベルな問題（個人的には最難関）です。
公式の解答等では飛躍があり、理解するのが非常に難しい問題ですが、一助となれば幸いです。
問題については著作物のため割愛します。

[1]

[計画行列 $X$]
　計画行列の $i$ 行は $i$ 回目にどの物体を測るか。第 $j$ 列は $j$ 番目の物体は何回目に測定するかを示す。従って(1), (2)における計画行列 $X$ は
(1)

$$X_{(1)}=\begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\\ 1 & 0 & 0 & 0 & 0 \\\ 0 & 1 & 0 & 0 & 0 \\\ 0 & 1 & 0 & 0 & 0 \\\ 0 & 0 & 1 & 0 & 0 \\\ 0 & 0 & 1 & 0 & 0 \\\ 0 & 0 & 0 & 1 & 0 \\\ 0 & 0 & 0 & 1 & 0 \\\ 0 & 0 & 0 & 0 & 1 \\\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}$$(2)

$$X_{(2)}=\begin{pmatrix} 1 & 1 & 0 & 0 & 0 \\\ 1 & 0 & 1 & 0 & 0 \\\ 1 & 0 & 0 & 1 & 0 \\\ 1 & 0 & 0 & 0 & 1 \\\ 0 & 1 & 1 & 0 & 0 \\\ 0 & 1 & 0 & 1 & 0 \\\ 0 & 1 & 0 & 0 & 1 \\\ 0 & 0 & 1 & 1 & 0 \\\ 0 & 0 & 1 & 0 & 1 \\\ 0 & 0 & 0 & 1 & 1 \\ \end{pmatrix}$$

[正規方程式]
$(\boldsymbol{x} -X \boldsymbol{\theta})$ を最小にするような $\boldsymbol{\theta}$ を計算する。

$$\begin{aligned} ||\boldsymbol{x} -X \boldsymbol{\theta}||^{2} &=(\boldsymbol{x} -X \boldsymbol{\theta})' (\boldsymbol{x} -X \boldsymbol{\theta}) =(\boldsymbol{x}' -\boldsymbol{\theta}'X') (\boldsymbol{x} -X \boldsymbol{\theta})\\ &=\boldsymbol{x}'\boldsymbol{x}-\boldsymbol{x}'X \boldsymbol{\theta} - \boldsymbol{\theta} 'X' \boldsymbol{x} + \boldsymbol{\theta}'X'X \boldsymbol{\theta}\\ &=\boldsymbol{x}'\boldsymbol{x} - 2 \boldsymbol{\theta} 'X' \boldsymbol{x} + \boldsymbol{\theta}'X'X \boldsymbol{\theta} \end{aligned}$$

$\dfrac{d}{d \boldsymbol{\theta}}||\boldsymbol{x} -X \boldsymbol{\theta}||^{2}=2X'X \boldsymbol{\theta} -2X'\boldsymbol{x} = \boldsymbol{0}$ とすると、

$$X'X\boldsymbol{\theta}=X'\boldsymbol{x}$$

よって正規方程式は真値 $\boldsymbol{\theta}$ の推定量を $\hat{\boldsymbol{\theta}}$ として、

$$X'X \hat{\boldsymbol{\theta}}=X'\boldsymbol{x}$$

$$\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x}$$

となる。$'$は転置を表す。

[2]

[1]より

$$\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x}=(X'X)^{-1}X'(X\boldsymbol{\theta}+\boldsymbol{\varepsilon})=\boldsymbol{\theta}+(X'X)^{-1}X'\boldsymbol{\varepsilon}$$

よって、

$$\begin{aligned} V[\hat{\boldsymbol{\theta}}]&=V[(X'X)^{-1}X'\boldsymbol{\varepsilon}] =(X'X)^{-1}X'E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}'] ((X'X)^{-1}X')'\\ &=(X'X)^{-1}X' \sigma^{2}IX(X'X)^{-1}=(X'X)^{-1}\sigma^{2} \end{aligned}$$(1)

$$\begin{aligned} X_{(1)}'X_{(1)}&= \begin{pmatrix} 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 \\ \end{pmatrix} \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}\\&= \begin{pmatrix} 2 & 0 & 0 & 0 & 0 \\ 0 & 2 & 0 & 0 & 0 \\ 0 & 0 & 2 & 0 & 0 \\ 0 & 0 & 0 & 2 & 0 \\ 0 & 0 & 0 & 0 & 2 \\ \end{pmatrix}=2 \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}\end{aligned}$$

$$V[\hat{\boldsymbol{\theta}}]=\sigma^{2}(X_{(1)}'X_{(1)})^{-1}=\dfrac{\sigma^{2}}{2} \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}$$

$$V[\hat{\theta_i}]=\dfrac{\sigma^{2}}{2}(i=1,...,5)$$(2)

$$\begin{aligned} X_{(2)}'X_{(2)}&= \begin{pmatrix} 1 & 1 & 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 1 & 1 & 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 1 & 0 & 0 & 1 & 1 & 0 \\ 0 & 0 & 1 & 0 & 0 & 1 & 0 & 1 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 & 0 & 1 & 0 & 1 & 1 \\ \end{pmatrix} \begin{pmatrix} 1 & 1 & 0 & 0 & 0 \\ 1 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 1 & 0 \\ 1 & 0 & 0 & 0 & 1 \\ 0 & 1 & 1 & 0 & 0 \\ 0 & 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 0 & 1 \\ 0 & 0 & 1 & 1 & 0 \\ 0 & 0 & 1 & 0 & 1 \\ 0 & 0 & 0 & 1 & 1 \\ \end{pmatrix}\\&= \begin{pmatrix} 4 & 1 & 1 & 1 & 1 \\ 1 & 4 & 1 & 1 & 1 \\ 1 & 1 & 4 & 1 & 1 \\ 1 & 1 & 1 & 4 & 1 \\ 1 & 1 & 1 & 1 & 4 \\ \end{pmatrix}\end{aligned}$$

$$V[\hat{\boldsymbol{\theta}}]=\sigma^{2}(X_{(2)}'X_{(2)})^{-1}=\dfrac{\sigma^{2}}{24} \begin{pmatrix} 7 & -1 & -1 & -1 & -1 \\ -1 & 7 & -1 & -1 & -1 \\ -1 & -1 & 7 & -1 & -1 \\ -1 & -1 & -1 & 7 & -1 \\ -1 & -1 & -1 & -1 & 7 \\ \end{pmatrix}$$

$$V[\hat{\theta_i}]=\dfrac{7}{24}\sigma^{2}(i=1,...,5)$$

[3]

帰無仮説 $H_{0}$ $\big( \theta_{1}=,\dots,=\theta_{5} (=\theta_{0}$ とする $) \big)$ が真の場合においては、自由度が $5 \rightarrow 1$ と変化することにより計画行列 $X$ が異なることに注意する。
$H_{0}$ における計画行列 $X$ を $X_{0}$、$\boldsymbol{\theta}$を $\boldsymbol{\theta}_{0}$ とすると、
(1)の場合、第 $i$ 回目の測定において、 $(i=1,\dots,10)$

$$x_i=\theta_{0}+\varepsilon_i$$

となることから、

$$\begin{aligned} &\boldsymbol{x}=\theta_{0}\boldsymbol{i}_{10}+\boldsymbol{\varepsilon}\\ &X_{0(1)}=\boldsymbol{i}_{10},\boldsymbol{\theta_{0}}=\theta_{0} \end{aligned}$$

($\boldsymbol{i}_{n}$ はすべての成分が $1$ の $n$ 次ベクトル)
と表せる。同様に(2)では第 $i$ 回目の測定においては $(i=1,\dots,10)$

$$x_i=2\theta_{0}+\varepsilon_i$$

となることから、

$$\begin{aligned} &\boldsymbol{x}=2\theta_{0}\boldsymbol{i}_{10}+\boldsymbol{\varepsilon}\\ &X_{0(2)}=2\boldsymbol{i}_{10},\boldsymbol{\theta_{0}}=\theta_{0} \end{aligned}$$

$\hat{\boldsymbol{\theta}}_{0}$については

$$\begin{aligned} \hat{\boldsymbol{\theta}}_{0(1)}&=(\boldsymbol{i}_{10}'\boldsymbol{i}_{10})^{-1}\boldsymbol{i}_{10}'\boldsymbol{x}=10^{-1}(x_{1}+\cdots+x_{10})=\bar{x}\\ \hat{\boldsymbol{\theta}}_{0(2)}&=(2\boldsymbol{i}_{10}'2\boldsymbol{i}_{10})^{-1}2\boldsymbol{i}_{10}'\boldsymbol{x}=40^{-1}\cdot2(x_{1}+\cdots+x_{10})=\dfrac{\bar{x}}{2} \end{aligned}$$

よって、$X_{0}\hat{\boldsymbol{\theta}}_{0}$ については(1), (2)で等しく、

$$X_{0}\hat{\boldsymbol{\theta}}_{0}=\bar{x}\boldsymbol{i_{10}}$$

となる。
また、$X_{0}$ については(1), (2) の両者の場合において、以下のように表現することができる。

$$X_{0}=XB (B=\boldsymbol{i}_{5})$$

求める検定統計量は、$F$ 統計量であることから、カイ二乗分布に従い、かつ互いに独立な 2 つの確率変数が必要である。
観測値と推定値の差を二乗して合計した残差平方和はカイ二乗分布に従うことから、残差平方和を使用する。
単純に帰無仮説 $H_{0}$ における残差平方和 $S_{0}$ と対立仮説 $H_{1}$ における残差平方和 $S_{1}$ を使用することはできない。両者は独立ではないためである。
そこで、$S_{1}, S_{0}-S_{1}$ を使用する。ここで、$S_{0}, S_{1}$は以下のように表せる。

$$S_{0} = ||\boldsymbol{x}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2},S_{1}=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}$$

まず、$S_{1}, S_{0}-S_{1}$ をそれぞれ求め、$S_{1}$ と $S_{0}-S_{1}$ が独立であることを証明する。
$S_{0}$ を分解すると、

$$\begin{aligned} S_{0}&=||(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})+(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})||^{2}\\ &=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}+2(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})'(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}\\ &=S_{1}+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}+2(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})'(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}) \end{aligned}$$

となる。

ここで、$\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x},\space \hat{\boldsymbol{\theta}}_{0}=(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}$ から、以下のように $A_{2},A_{3}$ を定義する。

$$\begin{aligned} \boldsymbol{x}-X\hat{\boldsymbol{\theta}}&=\boldsymbol{x}-X(X'X)^{-1}X'\boldsymbol{x}=(I_{10}-X(X'X)^{-1}X')\boldsymbol{x}\\ &=A_{3}\boldsymbol{x}\\ X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}&= (X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\ &=A_{2}\boldsymbol{x} \end{aligned}$$

よって、

$$\begin{aligned} (\boldsymbol{x}-X\hat{\boldsymbol{\theta}})' (X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}) &=\boldsymbol{x}'A_{3}'A_{2}\boldsymbol{x}\\ &=\boldsymbol{x}'(I_{10}-X(X'X)^{-1}X')' (X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\ &=\boldsymbol{x}'(I_{10}-X(X'X)^{-1}X') (X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\ &=\boldsymbol{x}'(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}'-X(X'X)^{-1}X'+X(X'X)^{-1}X'X_{0}(X_{0}'X_{0})^{-1}X_{0}') \boldsymbol{x}\\ &=\boldsymbol{x}'(X(X'X)^{-1}X'-I_{10})X_{0}(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\ &=\boldsymbol{x}'(X(X'X)^{-1}X'-I_{10})XB(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\ &=\boldsymbol{x}'(X-X)B(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\ &=\boldsymbol{x}'O\boldsymbol{x}=0 \end{aligned}$$

ゆえに、

$$S_{0}=S_{1}+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}\\ S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}$$

また、

$$\begin{aligned} Cov[(\boldsymbol{x}-X\hat{\boldsymbol{\theta}}),(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})] &=E[(A_{3}\boldsymbol{x})(A_{2}\boldsymbol{x})'] =A_{3}E[\boldsymbol{x}\boldsymbol{x}']A_{2}'\\ &=A_{3}V[\boldsymbol{x}]A_{2} =A_{3}V[\boldsymbol{\varepsilon}]A_{2}\\ &=A_{3}\sigma^{2}I_{10}A_{2} =\sigma^{2}A_{3}A_{2}=O \end{aligned}$$

となる。よって、$(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})$ と
$(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})$ は独立であることから、

$S_{1}=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2},S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}$
も同様に独立である。

次に、帰無仮説 $H_{0}$ が真である場合の $S_{1},S_{0} - S_{1}$ が従う分布について考える。
$H_{0}$ においては $\boldsymbol{x} = X_{0}\boldsymbol{\theta}_{0} + \boldsymbol{\varepsilon}$ であるから、

$S_{1} = ||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}$ については

$$\begin{aligned} \boldsymbol{x} - X\hat{\boldsymbol{\theta}} &= A_3\boldsymbol{x} = A_{3}X_{0}\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\ &= (I_{10}-X(X'X)^{-1}X')XB\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\ &= (X-X)B\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\ &= A_{3}\boldsymbol{\varepsilon} \end{aligned}$$

$$\begin{aligned} \dfrac{S_{1}}{\sigma^{2}} &= \dfrac{1}{\sigma^{2}} ||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2} = \dfrac{1}{\sigma^{2}}\boldsymbol{\varepsilon}'A_{3}'A_{3}\boldsymbol{\varepsilon}\\ &=\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{3} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big) \end{aligned}$$

$S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}$ については

$$\begin{aligned} X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0} &= A_{2}\boldsymbol{x} = A_{2}X_{0}\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= (X(X'X)^{-1}X' - X_{0}(X_{0}'X_{0})^{-1}X_{0}')X_{0}\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= (X(X'X)^{-1}X'X_{0} - X_{0})\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= (X(X'X)^{-1}X'X - X)B\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= A_{2}\boldsymbol{\varepsilon} \end{aligned}$$

$$\begin{aligned} \dfrac{S_{0} - S_{1}}{\sigma^{2}} &= \dfrac{1}{\sigma^{2}} ||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2} = \dfrac{1}{\sigma^{2}}\boldsymbol{\varepsilon}'A_{2}'A_{2}\boldsymbol{\varepsilon}\\ &=\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{2} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big) \end{aligned}$$

ここで、上記の $A_{2}(=X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}'),A_{3}(=I_{10}-X(X'X)^{-1}X')$ に加え、$A_{1}=X_{0}(X_{0}'X_{0})^{-1}X_{0}'$とすると、以下の式を満たす。この式から $A_{1}, A_{2}, A_{3}$ がどのような行列であるかを考える。

$$\left\{ \begin{align*} &A_{1}+A_{2}+A_{3}=I_{10} \hspace{15pt} \text{(i)}\\ &A_{1}A_{2} = O \hspace{54pt} \text{(ii)} \\ &A_{3}A_{2} = O \hspace{53pt} \text{(iii)} \\ &A_{1}^{2} = A_{1} \hspace{61pt} \text{(iv)} \\ &A_{3}^{2} = A_{3} \hspace{62pt} \text{(v)} \\ \end{align*} \right.$$

$\text{(ii)}$

$$\begin{aligned} A_{1}A_{2} &= X_{0}(X_{0}'X_{0})^{-1}X_{0}'(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\\ &= X_{0}(X_{0}'X_{0})^{-1}X_{0}'X(X'X)^{-1}X'- X_{0}(X_{0}'X_{0})^{-1}X_{0}' \\ &= X_{0}(X_{0}'X_{0})^{-1}X_{0}'(X(X'X)^{-1}X'-I_{10}) \\ &= X_{0}(X_{0}'X_{0})^{-1}B'X'(X(X'X)^{-1}X'-I_{10}) \\ &= X_{0}(X_{0}'X_{0})^{-1}B'(X'-X') \\ &= O \end{aligned}$$

$\text{(iii)}$

$$\begin{aligned} A_{3}A_{2} &= (I_{10}-X(X'X)^{-1}X')(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\\ &= X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}' - X(X'X)^{-1}X' + X(X'X)^{-1}X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\ &= (X(X'X)^{-1}X'-I_{10})X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\ &= (X(X'X)^{-1}X'-I_{10})XB(X_{0}'X_{0})^{-1}X_{0}'\\ &= (X-X)B(X_{0}'X_{0})^{-1}X_{0}'\\ &= O \end{aligned}$$

$\text{(iv)}$

$$\begin{aligned} A_{1}^{2} &=X_{0}(X_{0}'X_{0})^{-1}X_{0}'X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\ &=X_{0}(X_{0}'X_{0})^{-1}X_{0}'=A_{1} \end{aligned}$$

$\text{(v)}$

$$\begin{aligned} A_{3}^{2} &=(I_{10}-X(X'X)^{-1}X')(I_{10}-X(X'X)^{-1}X')\\ &=I_{10}+X(X'X)^{-1}X'-2X(X'X)^{-1}X'\\ &=I_{10}-X(X'X)^{-1}X'=A_{3} \end{aligned}$$

$\text{(i)}$ に $A_{2}$ をかけることにより、

$$A_{1}A_{2} + A_{2}^{2} + A_{3}A_{2} = A_{2}$$

$\text{(ii)}$,$\text{(iii)}$ より

$$A_{2}^{2} = A_{2}$$

また、$A_{i}'=A_{i} (i=1,2,3)$を満たすことから、 $A_{1}, A_{2}, A_{3}$ はすべて対称冪等行列である。
対称冪等行列は　$rank = trace$ となることから(後述)、$\text{(i)}$より

$$\begin{aligned} tr(A_{1} + A_{2} + A_{3} ) = tr (I_{10}) \\ tr(A_{1}) + tr(A_{2}) + tr(A_{3}) = 10 \\ rank(A_{1}) + rank(A_{2}) + rank(A_{3}) = 10 \end{aligned}$$

$A_{1}, A_{2}, A_{3}$ の $rank$ を求めると、

$$\begin{aligned} rank(A_{1})&=tr(\{X_{0}\}\{(X_{0}'X_{0})^{-1}X_{0}'\})\\ &=tr((X_{0}'X_{0})^{-1}X_{0}'X_{0})\\ &=tr(1)=1\\ rank(A_{3})&=tr(I_{10}) - tr(\{X\}\{(X'X)^{-1}X'\})\\ &=10 - tr({(X'X)^{-1}X'X})=10-tr(I_{5})=5 \\ rank(A_{2})&=10 - rank(A_{1}) - rank(A_{3}) = 4 \end{aligned}$$

まとめると、

$$\left\{ \begin{aligned} &A_{1}: rank \space 1 \space \small の対称冪等行列\\ &A_{2}: rank \space 4 \space \small の対称冪等行列\\ &A_{3}: rank \space 5 \space \small の対称冪等行列 \end{aligned} \right.$$

$rank = r$ の対称冪等行列 $A_i$ について考える。
対称行列の性質により、$A_{i}=C'\Lambda C(C:$直交行列$)$と固有値分解できる。
また、冪等行列の性質により、固有値が $0,1$ のみで構成される。ゆえに$A_{i}$ の $rank$ は $r$ であることから、$\Lambda=diag(1,\dots ,1,0, \dots ,0)$と表せる。( $1$ が $r$ 個、 $0$ が $10-r$ 個)
さらに、$\boldsymbol{{\varepsilon}}\sim N(\boldsymbol{0},\sigma^{2}I_{10})$ より, 以下のように $\boldsymbol{u},\boldsymbol{z}$ を定義すると、

$$\left\{ \begin{aligned} &\boldsymbol{u}=\dfrac{\boldsymbol{\varepsilon}}{\sigma}\sim N(\boldsymbol{0},I_{10}) \\ &\boldsymbol{z}=C\boldsymbol{u} \sim N(\boldsymbol{0},I_{10})\big(\because C:\small 直交行列\big) \end{aligned} \right.$$

$$\begin{aligned} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{i} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big) &=\boldsymbol{u}'A_{i}\boldsymbol{u} =\boldsymbol{u}'C'\Lambda C\boldsymbol{u}\\ &=(C\boldsymbol{u})'\Lambda C\boldsymbol{u} =\boldsymbol{z}'\Lambda \boldsymbol{z} =\sum_{i=1}^{r}z_{i}^{2}\sim \chi^{2}(r) \end{aligned}$$

また、前述のように、 $A_{i}$ の $rank$ と $trace$ には以下のような関係式がある。

$$\begin{aligned} rank(A_{i}) &= rank(\Lambda) =tr(\Lambda) = tr(\{C\}\{A_{i}C'\}) = tr(A_{i}C'C) \\ &= tr(A_{i}) \end{aligned}$$

よって、

$$\left\{ \begin{aligned} \dfrac{S_{1}}{\sigma^{2}} &\sim \chi^{2}(5) \\ \dfrac{S_{0}-S_{1}}{\sigma^{2}} &\sim \chi^{2}(4) \end{aligned} \right.$$

以上より、

$$F=\dfrac{\dfrac{S_{0}-S_{1}}{\sigma^{2}}/4}{\dfrac{S_{1}}{\sigma^{2}}/5} =\dfrac{||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}||^{2}/4} {||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}/5} \sim F(4,5)$$

[4]

題意より、$F$ の分子の $(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}})$ の期待値 $E[X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}]$が問題文における期待値のベクトル$(\mu_{1},\dots,\mu_{10})'\big(= \boldsymbol{\mu}$とする$\big)$ に該当する。
ゆえに、非心度 $\lambda = \boldsymbol{\mu}'\boldsymbol{\mu}$ と表せる。
対立仮説の下では $\boldsymbol{x} = X\boldsymbol{\theta} + \boldsymbol{\varepsilon}$ となることから、

$$X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0} =A_{2}\boldsymbol{x}= A_{2}( X\boldsymbol{\theta} + \boldsymbol{\varepsilon}) =A_{2}X\boldsymbol{\theta}+A_{2}\boldsymbol{\varepsilon}$$

よって、

$$\begin{aligned} \boldsymbol{\mu} &=E[ X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}} ]\\ &=A_{2}X\boldsymbol{\theta}=(X(X'X)^{-1}X'X - X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ &=(X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta} \end{aligned}$$

$$\begin{aligned} \lambda &= ((X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta})' (X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - 2X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X + X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ \end{aligned}$$

ここで、$X_{0(1)} = \boldsymbol{i}_{10} , X_{0(2)} = 2\boldsymbol{i}_{10}$ より $X_{0}= k\boldsymbol{i}_{10}$ とおくと、

$$\begin{aligned} \lambda &= \boldsymbol{\theta}'(X'X - X'k\boldsymbol{i}_{10}(k\boldsymbol{i}_{10}'k\boldsymbol{i}_{10})^{-1}k\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - k^{2}(10k^{2})^{-1}X'\boldsymbol{i}_{10}\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - \dfrac{1}{10}X'\boldsymbol{i}_{10}\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - \dfrac{1}{10} X'\boldsymbol{i}_{10}(X'\boldsymbol{i}_{10})')\boldsymbol{\theta} \end{aligned}$$

また、(1), (2) における $X'X, X'\boldsymbol{i}_{10}$ は

$$\left\{ \begin{aligned} X_{(1)}'X_{(1)}&= \begin{pmatrix} 2 & 0 & 0 & 0 & 0 \\\ 0 & 2 & 0 & 0 & 0 \\\ 0 & 0 & 2 & 0 & 0 \\\ 0 & 0 & 0 & 2 & 0 \\\ 0 & 0 & 0 & 0 & 2 \\ \end{pmatrix}=2I_{5}\\ X_{(2)}'X_{(2)}&= \begin{pmatrix} 4 & 1 & 1 & 1 & 1 \\\ 1 & 4 & 1 & 1 & 1 \\\ 1 & 1 & 4 & 1 & 1 \\\ 1 & 1 & 1 & 4 & 1 \\\ 1 & 1 & 1 & 1 & 4 \\ \end{pmatrix}\\ &=3 \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\\ 0 & 1 & 0 & 0 & 0 \\\ 0 & 0 & 1 & 0 & 0 \\\ 0 & 0 & 0 & 1 & 0 \\\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix} + \begin{pmatrix} 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\ \end{pmatrix}\\ &=3I_{5}+\boldsymbol{i}_{5}\boldsymbol{i}_{5}' \end{aligned} \right.$$

$$\left\{ \begin{aligned} X_{(1)}'\boldsymbol{i_{10}} &= 2\boldsymbol{i_{5}}\\ X_{(2)}'\boldsymbol{i_{10}} &= 4\boldsymbol{i_{5}}\\ \end{aligned} \right.$$

$$\begin{aligned} \lambda_{(1)} &=\boldsymbol{\theta}'2I_{5}\boldsymbol{\theta} -\dfrac{1}{10}\boldsymbol{\theta}'2\boldsymbol{i}_{5} 2\boldsymbol{i}_{5}'\boldsymbol{\theta}\\ &=2\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{2}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2} = 2\Bigg(\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{1}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}\Bigg) \\&= 2\sum_{i=1}^{5}{(\theta_{i}-\bar{\theta})^{2}}\Bigg(\bar{\theta}=\dfrac{1}{5}\sum_{i=1}^{5}{\theta_{i}}\Bigg) \end{aligned}$$

$$\begin{aligned} \lambda_{(2)} &=\boldsymbol{\theta}'(3I_{5} + \boldsymbol{i}_{5}\boldsymbol{i}_{5}')\boldsymbol{\theta} -\dfrac{1}{10}\boldsymbol{\theta}'4\boldsymbol{i}_{5} 4\boldsymbol{i}_{5}'\boldsymbol{\theta}\\ &=3\sum_{i=1}^{5}{\theta_{i}^{2}} + \Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2} -\dfrac{8}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2} = 3\Bigg(\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{1}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}\Bigg) \\&= 3\sum_{i=1}^{5}{(\theta_{i}-\bar{\theta})^{2}} \end{aligned}$$

[5]

推定量の分散においては、(2)の方が(1)より小さいため、(2)の方法が適している。
非心度においては　(2) の方が (1) よりも大きいため、 (2)の方法が適している。
ゆえに、(2) の方法が (1) よりも優れているといえる。
(非心度が大きいほうが、対立仮説が真の場合に検定統計量 $F$ の分子が大きくなり、有意になりやすくなる。)

[4] の解答に関する見解

[4] の解答において、非心度は $\sigma^2$ で割ったものが正しい解答であると考える。公式の解答では本記事の [4] の解答と同じく $\sigma^{2}$ で割っていない。$\sigma^2$ で割る理由は $(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})$ の分散共分散行列に $\sigma^2$ が含まれるためである。よって、 $||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^2$ が従う分布は非心カイ二乗分布ではない。非心カイ二乗分布に従うのは $\dfrac{||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^2}{\sigma^{2}}$ である。本項では、$\dfrac{||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^2}{\sigma^{2}}$ の従う分布が非心度 $\dfrac{1}{\sigma^{2}} ||A_{2}X\boldsymbol{\theta}||^{2}$ 、自由度 4 の非心カイ二乗分布であることを証明する。

まず、 $(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})$ の分布について考える。
対立仮説が真である場合は $\boldsymbol{x} = X\boldsymbol{\theta} + \boldsymbol{\varepsilon}$ となることから、$X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}$ は以下のように表せる。

$$\begin{aligned} X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0} &=A_{2}\boldsymbol{x} \\ &=A_{2}X\boldsymbol{\theta} + A_{2}\boldsymbol{\varepsilon} \end{aligned}$$

よって、$(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})$ の期待値ベクトル、分散共分散行列は以下のようになる。

$$\begin{aligned} E[X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}] &=A_{2}X\boldsymbol{\theta} \\ V[X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}] &=V[A_{2}\boldsymbol{\varepsilon}]\\ &=A_{2}V[\boldsymbol{\varepsilon}]A_{2}'\\ &=A_{2}\sigma^{2}I_{10} A_{2}\\ &=\sigma^{2}A_{2} \end{aligned}$$

$(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})$ の分布は多変量正規分布であることから、$N(A_{2}X\boldsymbol{\theta}, \sigma^2A_{2})$ となる。冒頭で述べたように分散共分散行列に $\sigma^{2}$ が含まれることが分かる。
$\sigma^{2}$ を除去するために、$\boldsymbol{y}= \left(\dfrac{X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}}{\sigma} \right)$ と変形すると、$\boldsymbol{y}$ の分布は $N\left( \dfrac{1}{\sigma}A_{2}X\boldsymbol{\theta}, A_{2} \right)$ となる。
最終的に求めるのは $\dfrac{||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^2}{\sigma^{2}}=\boldsymbol{y'}\boldsymbol{y}$ の分布であるが、 $\boldsymbol{y}$ の分散共分散行列は $A_{2}$ であることから、$\boldsymbol{y}$ は互いに独立であるとは限らない。そこで、互いに独立となるような $\boldsymbol{y}$ の変数変換について考える。

$A_2$ は $rank = 4$ の対称冪等行列であることから、$C$ を直交行列、 $\Lambda=\begin{pmatrix}I_{4} & O \\ O & O \end{pmatrix}=diag(1,\dots ,1,0, \dots ,0)$ ($1$ が $4$ 個、 $0$ が $6$ 個) として $A_{2}=C'\Lambda C$ と固有値分解できる。
これを利用して $\boldsymbol{z}=C\boldsymbol{y}$ とすると、$\boldsymbol{y}=C'\boldsymbol{z}$ となることから、$\boldsymbol{y'}\boldsymbol{y}$ は $\boldsymbol{z'}\boldsymbol{z}$ に等しい。(直交行列による変換のため、分布に変化なし)

$$\begin{aligned} \boldsymbol{y'}\boldsymbol{y} &=(C'\boldsymbol{z})'(C'\boldsymbol{z}) \\ &=\boldsymbol{z}'CC'\boldsymbol{z} \\ &= \boldsymbol{z}'\boldsymbol{z} \end{aligned}$$

以上より、$\boldsymbol{y'}\boldsymbol{y}$ を求めるには $\boldsymbol{z}$ の分布が分かればよい。
$\boldsymbol{z}$ の期待値ベクトルと分散共分散行列を計算すると、

$$\begin{aligned} E[\boldsymbol{z}] &=\dfrac{1}{\sigma}E[CA_{2}X\boldsymbol{\theta}] \\ &=\dfrac{1}{\sigma}\Lambda C'X\boldsymbol{\theta} \\ V[\boldsymbol{z}] &=V\left[\dfrac{1}{\sigma}CA_{2}\boldsymbol{\varepsilon}\right] \\ &= \dfrac{1}{\sigma^2}C\sigma^2 C'\Lambda CC' \\ &= \Lambda \end{aligned}$$

よって、$\boldsymbol{z}$ の分布は $N\left(\dfrac{1}{\sigma}\Lambda C'X\boldsymbol{\theta}, \Lambda \right)$ となる。分散共分散行列が対角行列となることから、互いに独立である。

次に、 $\boldsymbol{z}$ を以下のように、4次元ベクトルの $\boldsymbol{z_1}$ 、6次元ベクトルの $\boldsymbol{z_2}$ に分解する。

$$\begin{aligned} \boldsymbol{z}= \begin{pmatrix} \boldsymbol{z_{1}} \\ \boldsymbol{z_{2}} \end{pmatrix} \end{aligned}$$

$P$ を $4 \times 10$ の行列として $P=\begin{pmatrix}I_{4} & O\end{pmatrix}$ と置くと $\boldsymbol{z_{1}}=P\boldsymbol{z}$ と表すことができる。

$\boldsymbol{z_1}$ の期待値ベクトル、分散共分散行列を求めると、以下のように計算できる。

$$\begin{aligned} E[\boldsymbol{z_{1}}]=E[P\boldsymbol{z}]= \dfrac{1}{\sigma} P\Lambda C'X\boldsymbol{\theta} \\ V[\boldsymbol{z_{1}}]=V[P\boldsymbol{z}]= P\Lambda P'=I_{4} \\ \end{aligned}$$

また、$P'P=\begin{pmatrix}I_{4} \\ O\end{pmatrix} \begin{pmatrix}I_{4} & O\end{pmatrix}=\begin{pmatrix}I_{4} & O \\ O &O\end{pmatrix} = \Lambda$ となる。

以上より、 $\boldsymbol{z_{1}}$ の従う分布は $N\left(\dfrac{1}{\sigma} P\Lambda C'X\boldsymbol{\theta}, I_{4} \right)$　、 $\boldsymbol{z_{2}}$ については平均ベクトルが $\boldsymbol{0}$ で分散共分散行列が $O$ の正規分布、すなわち値が常に $0$ となる分布である。
$\boldsymbol{z'z}=\boldsymbol{z_{1}'z_{1}}+\boldsymbol{z_{2}'z_{2}}=\boldsymbol{z_{1}'z_{1}}$ となり、[4] の問題文の非心度の定義から、非心度 $\lambda$ は以下の計算できる。

$$\begin{aligned} \lambda &=\left(\dfrac{1}{\sigma} P\Lambda C'X\boldsymbol{\theta} \right)' \left(\dfrac{1}{\sigma} P\Lambda C'X\boldsymbol{\theta} \right) \\ &=\dfrac{1}{\sigma^{2}} \boldsymbol{\theta}'X'C\Lambda P' P\Lambda C'X\boldsymbol{\theta}\\ &=\dfrac{1}{\sigma^{2}} \boldsymbol{\theta}'X'C\Lambda C'X\boldsymbol{\theta} \\ &=\dfrac{1}{\sigma^{2}} \boldsymbol{\theta}'X' A_{2}' X\boldsymbol{\theta} \\ &=\dfrac{1}{\sigma^{2}} ||A_{2}X\boldsymbol{\theta}||^{2} \\ \end{aligned}$$

以上より、$\dfrac{||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^2}{\sigma^{2}}=\boldsymbol{y'}\boldsymbol{y}$ は非心度 $\dfrac{1}{\sigma^{2}} ||A_{2}X\boldsymbol{\theta}||^{2}$ 、自由度 4 の非心カイ二乗分布に従う。