統計検定1級 2014年 統計数理 問題4 解答例

はじめに

今回は統計検定1級より 2014年 統計数理 問題4 の解答を記載します。
問題は計画行列の評価において、推定量の分散だけでなく非心度も考慮したものであり、
統計検定1級の中でもかなりハイレベルな問題（個人的には最難関）です。
公式の解答等では飛躍があり、理解するのが非常に難しい問題ですが、一助となれば幸いです。
問題については著作物のため割愛します。

[1]

[計画行列 $XX$]
　計画行列の $ii$ 行は $ii$ 回目にどの物体を測るか。第 $jj$ 列は $jj$ 番目の物体は何回目に測定するかを示す。従って(1), (2)における計画行列 $XX$ は
(1)

$$X(1)=(10000 10000 01000 01000 00100 00100 00010 00010 00001 00001)X_{(1)}=\begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\\ 1 & 0 & 0 & 0 & 0 \\\ 0 & 1 & 0 & 0 & 0 \\\ 0 & 1 & 0 & 0 & 0 \\\ 0 & 0 & 1 & 0 & 0 \\\ 0 & 0 & 1 & 0 & 0 \\\ 0 & 0 & 0 & 1 & 0 \\\ 0 & 0 & 0 & 1 & 0 \\\ 0 & 0 & 0 & 0 & 1 \\\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}$$(2)

$$X(2)=(11000 10100 10010 10001 01100 01010 01001 00110 00101 00011)X_{(2)}=\begin{pmatrix} 1 & 1 & 0 & 0 & 0 \\\ 1 & 0 & 1 & 0 & 0 \\\ 1 & 0 & 0 & 1 & 0 \\\ 1 & 0 & 0 & 0 & 1 \\\ 0 & 1 & 1 & 0 & 0 \\\ 0 & 1 & 0 & 1 & 0 \\\ 0 & 1 & 0 & 0 & 1 \\\ 0 & 0 & 1 & 1 & 0 \\\ 0 & 0 & 1 & 0 & 1 \\\ 0 & 0 & 0 & 1 & 1 \\ \end{pmatrix}$$

[正規方程式]
$(x−Xθ)(\boldsymbol{x} -X \boldsymbol{\theta})$ を最小にするような $θ\boldsymbol{\theta}$ を計算する。

$$∣∣x−Xθ∣∣2=(x−Xθ)′(x−Xθ)=(x′−θ′X′)(x−Xθ)=x′x−x′Xθ−θ′X′x+θ′X′Xθ=x′x−2θ′X′x+θ′X′Xθ\begin{aligned} ||\boldsymbol{x} -X \boldsymbol{\theta}||^{2} &=(\boldsymbol{x} -X \boldsymbol{\theta})' (\boldsymbol{x} -X \boldsymbol{\theta}) =(\boldsymbol{x}' -\boldsymbol{\theta}'X') (\boldsymbol{x} -X \boldsymbol{\theta})\\ &=\boldsymbol{x}'\boldsymbol{x}-\boldsymbol{x}'X \boldsymbol{\theta} - \boldsymbol{\theta} 'X' \boldsymbol{x} + \boldsymbol{\theta}'X'X \boldsymbol{\theta}\\ &=\boldsymbol{x}'\boldsymbol{x} - 2 \boldsymbol{\theta} 'X' \boldsymbol{x} + \boldsymbol{\theta}'X'X \boldsymbol{\theta} \end{aligned}$$

$ddθ∣∣x−Xθ∣∣2=2X′Xθ−2X′x=0\dfrac{d}{d \boldsymbol{\theta}}||\boldsymbol{x} -X \boldsymbol{\theta}||^{2}=2X'X \boldsymbol{\theta} -2X'\boldsymbol{x} = \boldsymbol{0}$ とすると、

$$X′Xθ=X′xX'X\boldsymbol{\theta}=X'\boldsymbol{x}$$

よって正規方程式は真値 $θ\boldsymbol{\theta}$ の推定量を $θ^\hat{\boldsymbol{\theta}}$ として、

$$X′Xθ^=X′xX'X \hat{\boldsymbol{\theta}}=X'\boldsymbol{x}$$

$$θ^=(X′X)−1X′x\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x}$$

となる。$′'$は転置を表す。

[2]

[1]より

$$θ^=(X′X)−1X′x=(X′X)−1X′(Xθ+ε)=θ+(X′X)−1X′ε\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x}=(X'X)^{-1}X'(X\boldsymbol{\theta}+\boldsymbol{\varepsilon})=\boldsymbol{\theta}+(X'X)^{-1}X'\boldsymbol{\varepsilon}$$

よって、

$$V[θ^]=V[(X′X)−1X′ε]=(X′X)−1X′E[εε′]((X′X)−1X′)′=(X′X)−1X′σ2IX(X′X)−1=(X′X)−1σ2\begin{aligned} V[\hat{\boldsymbol{\theta}}]&=V[(X'X)^{-1}X'\boldsymbol{\varepsilon}] =(X'X)^{-1}X'E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}'] ((X'X)^{-1}X')'\\ &=(X'X)^{-1}X' \sigma^{2}IX(X'X)^{-1}=(X'X)^{-1}\sigma^{2} \end{aligned}$$(1)

$$X(1)′X(1)=(11000000000011000000000011000000000011000000000011)(10000100000100001000001000010000010000100000100001)=(2000002000002000002000002)=2(1000001000001000001000001)\begin{aligned} X_{(1)}'X_{(1)}&= \begin{pmatrix} 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 \\ \end{pmatrix} \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}\\&= \begin{pmatrix} 2 & 0 & 0 & 0 & 0 \\ 0 & 2 & 0 & 0 & 0 \\ 0 & 0 & 2 & 0 & 0 \\ 0 & 0 & 0 & 2 & 0 \\ 0 & 0 & 0 & 0 & 2 \\ \end{pmatrix}=2 \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}\end{aligned}$$

$$V[θ^]=σ2(X(1)′X(1))−1=σ22(1000001000001000001000001)V[\hat{\boldsymbol{\theta}}]=\sigma^{2}(X_{(1)}'X_{(1)})^{-1}=\dfrac{\sigma^{2}}{2} \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix}$$

$$V[θi^]=σ22(i=1,...,5)V[\hat{\theta_i}]=\dfrac{\sigma^{2}}{2}(i=1,...,5)$$(2)

$$X(2)′X(2)=(11110000001000111000010010011000100101010001001011)(11000101001001010001011000101001001001100010100011)=(4111114111114111114111114)\begin{aligned} X_{(2)}'X_{(2)}&= \begin{pmatrix} 1 & 1 & 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 1 & 1 & 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 1 & 0 & 0 & 1 & 1 & 0 \\ 0 & 0 & 1 & 0 & 0 & 1 & 0 & 1 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 & 0 & 1 & 0 & 1 & 1 \\ \end{pmatrix} \begin{pmatrix} 1 & 1 & 0 & 0 & 0 \\ 1 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 1 & 0 \\ 1 & 0 & 0 & 0 & 1 \\ 0 & 1 & 1 & 0 & 0 \\ 0 & 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 0 & 1 \\ 0 & 0 & 1 & 1 & 0 \\ 0 & 0 & 1 & 0 & 1 \\ 0 & 0 & 0 & 1 & 1 \\ \end{pmatrix}\\&= \begin{pmatrix} 4 & 1 & 1 & 1 & 1 \\ 1 & 4 & 1 & 1 & 1 \\ 1 & 1 & 4 & 1 & 1 \\ 1 & 1 & 1 & 4 & 1 \\ 1 & 1 & 1 & 1 & 4 \\ \end{pmatrix}\end{aligned}$$

$$V[θ^]=σ2(X(2)′X(2))−1=σ224(7−1−1−1−1−17−1−1−1−1−17−1−1−1−1−17−1−1−1−1−17)V[\hat{\boldsymbol{\theta}}]=\sigma^{2}(X_{(2)}'X_{(2)})^{-1}=\dfrac{\sigma^{2}}{24} \begin{pmatrix} 7 & -1 & -1 & -1 & -1 \\ -1 & 7 & -1 & -1 & -1 \\ -1 & -1 & 7 & -1 & -1 \\ -1 & -1 & -1 & 7 & -1 \\ -1 & -1 & -1 & -1 & 7 \\ \end{pmatrix}$$

$$V[θi^]=724σ2(i=1,...,5)V[\hat{\theta_i}]=\dfrac{7}{24}\sigma^{2}(i=1,...,5)$$

[3]

帰無仮説 $H0H_{0}$ $(θ1=,…,=θ5(=θ0\big( \theta_{1}=,\dots,=\theta_{5} (=\theta_{0}$ とする $))) \big)$ が真の場合においては、自由度が $5→15 \rightarrow 1$ と変化することにより計画行列 $XX$ が異なることに注意する。
$H0H_{0}$ における計画行列 $XX$ を $X0X_{0}$、$θ\boldsymbol{\theta}$を $θ0\boldsymbol{\theta}_{0}$ とすると、
(1)の場合、第 $ii$ 回目の測定において、 $(i=1,…,10)(i=1,\dots,10)$

$$xi=θ0+εix_i=\theta_{0}+\varepsilon_i$$

となることから、

$$x=θ0i10+εX0(1)=i10,θ0=θ0\begin{aligned} &\boldsymbol{x}=\theta_{0}\boldsymbol{i}_{10}+\boldsymbol{\varepsilon}\\ &X_{0(1)}=\boldsymbol{i}_{10},\boldsymbol{\theta_{0}}=\theta_{0} \end{aligned}$$

($in\boldsymbol{i}_{n}$ はすべての成分が $11$ の $nn$ 次ベクトル)
と表せる。同様に(2)では第 $ii$ 回目の測定においては $(i=1,…,10)(i=1,\dots,10)$

$$xi=2θ0+εix_i=2\theta_{0}+\varepsilon_i$$

となることから、

$$x=2θ0i10+εX0(2)=2i10,θ0=θ0\begin{aligned} &\boldsymbol{x}=2\theta_{0}\boldsymbol{i}_{10}+\boldsymbol{\varepsilon}\\ &X_{0(2)}=2\boldsymbol{i}_{10},\boldsymbol{\theta_{0}}=\theta_{0} \end{aligned}$$

$θ^0\hat{\boldsymbol{\theta}}_{0}$については

$$θ^0(1)=(i10′i10)−1i10′x=10−1(x1+⋯+x10)=xˉθ^0(2)=(2i10′2i10)−12i10′x=40−1⋅2(x1+⋯+x10)=xˉ2\begin{aligned} \hat{\boldsymbol{\theta}}_{0(1)}&=(\boldsymbol{i}_{10}'\boldsymbol{i}_{10})^{-1}\boldsymbol{i}_{10}'\boldsymbol{x}=10^{-1}(x_{1}+\cdots+x_{10})=\bar{x}\\ \hat{\boldsymbol{\theta}}_{0(2)}&=(2\boldsymbol{i}_{10}'2\boldsymbol{i}_{10})^{-1}2\boldsymbol{i}_{10}'\boldsymbol{x}=40^{-1}\cdot2(x_{1}+\cdots+x_{10})=\dfrac{\bar{x}}{2} \end{aligned}$$

よって、$X0θ^0X_{0}\hat{\boldsymbol{\theta}}_{0}$ については(1), (2)で等しく、

$$X0θ^0=xˉi10X_{0}\hat{\boldsymbol{\theta}}_{0}=\bar{x}\boldsymbol{i_{10}}$$

となる。
また、$X0X_{0}$ については(1), (2) の両者の場合において、以下のように表現することができる。

$$X0=XB(B=i5)X_{0}=XB (B=\boldsymbol{i}_{5})$$

求める検定統計量は、$FF$ 統計量であることから、カイ二乗分布に従い、かつ互いに独立な 2 つの確率変数が必要である。
観測値と推定値の差を二乗して合計した残差平方和はカイ二乗分布に従うことから、残差平方和を使用する。
単純に帰無仮説 $H0H_{0}$ における残差平方和 $S0S_{0}$ と対立仮説 $H1H_{1}$ における残差平方和 $S1S_{1}$ を使用することはできない。両者は独立ではないためである。
そこで、$S1,S0−S1S_{1}, S_{0}-S_{1}$ を使用する。ここで、$S0,S1S_{0}, S_{1}$は以下のように表せる。

$$S0=∣∣x−X0θ^0∣∣2,S1=∣∣x−Xθ^∣∣2S_{0} = ||\boldsymbol{x}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2},S_{1}=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}$$

まず、$S1,S0−S1S_{1}, S_{0}-S_{1}$ をそれぞれ求め、$S1S_{1}$ と $S0−S1S_{0}-S_{1}$ が独立であることを証明する。
$S0S_{0}$ を分解すると、

$$S0=∣∣(x−Xθ^)+(Xθ^−X0θ^0)∣∣2=∣∣x−Xθ^∣∣2+2(x−Xθ^)′(Xθ^−X0θ^0)+∣∣Xθ^−X0θ^0∣∣2=S1+∣∣Xθ^−X0θ^0∣∣2+2(x−Xθ^)′(Xθ^−X0θ^0)\begin{aligned} S_{0}&=||(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})+(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})||^{2}\\ &=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}+2(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})'(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}\\ &=S_{1}+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}+2(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})'(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}) \end{aligned}$$

となる。

ここで、$θ^=(X′X)−1X′x, θ^0=(X0′X0)−1X0′x\hat{\boldsymbol{\theta}}=(X'X)^{-1}X'\boldsymbol{x},\space \hat{\boldsymbol{\theta}}_{0}=(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}$ から、以下のように $A2,A3A_{2},A_{3}$ を定義する。

$$x−Xθ^=x−X(X′X)−1X′x=(I10−X(X′X)−1X′)x=A3xXθ^−X0θ^0=(X(X′X)−1X′−X0(X0′X0)−1X0′)x=A2x\begin{aligned} \boldsymbol{x}-X\hat{\boldsymbol{\theta}}&=\boldsymbol{x}-X(X'X)^{-1}X'\boldsymbol{x}=(I_{10}-X(X'X)^{-1}X')\boldsymbol{x}\\ &=A_{3}\boldsymbol{x}\\ X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}&= (X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\ &=A_{2}\boldsymbol{x} \end{aligned}$$

よって、

$$(x−Xθ^)′(Xθ^−X0θ^0)=x′A3′A2x=x′(I10−X(X′X)−1X′)′(X(X′X)−1X′−X0(X0′X0)−1X0′)x=x′(I10−X(X′X)−1X′)(X(X′X)−1X′−X0(X0′X0)−1X0′)x=x′(X(X′X)−1X′−X0(X0′X0)−1X0′−X(X′X)−1X′+X(X′X)−1X′X0(X0′X0)−1X0′)x=x′(X(X′X)−1X′−I10)X0(X0′X0)−1X0′x=x′(X(X′X)−1X′−I10)XB(X0′X0)−1X0′x=x′(X−X)B(X0′X0)−1X0′x=x′Ox=0\begin{aligned} (\boldsymbol{x}-X\hat{\boldsymbol{\theta}})' (X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}) &=\boldsymbol{x}'A_{3}'A_{2}\boldsymbol{x}\\ &=\boldsymbol{x}'(I_{10}-X(X'X)^{-1}X')' (X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\ &=\boldsymbol{x}'(I_{10}-X(X'X)^{-1}X') (X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\boldsymbol{x}\\ &=\boldsymbol{x}'(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}'-X(X'X)^{-1}X'+X(X'X)^{-1}X'X_{0}(X_{0}'X_{0})^{-1}X_{0}') \boldsymbol{x}\\ &=\boldsymbol{x}'(X(X'X)^{-1}X'-I_{10})X_{0}(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\ &=\boldsymbol{x}'(X(X'X)^{-1}X'-I_{10})XB(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\ &=\boldsymbol{x}'(X-X)B(X_{0}'X_{0})^{-1}X_{0}'\boldsymbol{x}\\ &=\boldsymbol{x}'O\boldsymbol{x}=0 \end{aligned}$$

ゆえに、

$$S0=S1+∣∣Xθ^−X0θ^0∣∣2S0−S1=∣∣Xθ^−X0θ^0∣∣2S_{0}=S_{1}+||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}\\ S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}$$

また、

$$Cov[(x−Xθ^),(Xθ^−X0θ^0)]=E[(A3x)(A2x)′]=A3E[xx′]A2′=A3V[x]A2=A3V[ε]A2=A3σ2I10A2=σ2A3A2=O\begin{aligned} Cov[(\boldsymbol{x}-X\hat{\boldsymbol{\theta}}),(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})] &=E[(A_{3}\boldsymbol{x})(A_{2}\boldsymbol{x})'] =A_{3}E[\boldsymbol{x}\boldsymbol{x}']A_{2}'\\ &=A_{3}V[\boldsymbol{x}]A_{2} =A_{3}V[\boldsymbol{\varepsilon}]A_{2}\\ &=A_{3}\sigma^{2}I_{10}A_{2} =\sigma^{2}A_{3}A_{2}=O \end{aligned}$$

となる。よって、$(x−Xθ^)(\boldsymbol{x}-X\hat{\boldsymbol{\theta}})$ と
$(Xθ^−X0θ^0)(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0})$ は独立であることから、

$S1=∣∣x−Xθ^∣∣2,S0−S1=∣∣Xθ^−X0θ^0∣∣2S_{1}=||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2},S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}$
も同様に独立である。

次に、帰無仮説 $H0H_{0}$ が真である場合の $S1,S0−S1S_{1},S_{0} - S_{1}$ が従う分布について考える。
$H0H_{0}$ においては $x=X0θ0+ε\boldsymbol{x} = X_{0}\boldsymbol{\theta}_{0} + \boldsymbol{\varepsilon}$ であるから、

$S1=∣∣x−Xθ^∣∣2S_{1} = ||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}$ については

$$x−Xθ^=A3x=A3X0θ0+A3ε=(I10−X(X′X)−1X′)XBθ0+A3ε=(X−X)Bθ0+A3ε=A3ε\begin{aligned} \boldsymbol{x} - X\hat{\boldsymbol{\theta}} &= A_3\boldsymbol{x} = A_{3}X_{0}\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\ &= (I_{10}-X(X'X)^{-1}X')XB\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\ &= (X-X)B\boldsymbol{\theta}_{0} + A_{3}\boldsymbol{\varepsilon}\\ &= A_{3}\boldsymbol{\varepsilon} \end{aligned}$$

$$S1σ2=1σ2∣∣x−Xθ^∣∣2=1σ2ε′A3′A3ε=(εσ)′A3(εσ)\begin{aligned} \dfrac{S_{1}}{\sigma^{2}} &= \dfrac{1}{\sigma^{2}} ||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2} = \dfrac{1}{\sigma^{2}}\boldsymbol{\varepsilon}'A_{3}'A_{3}\boldsymbol{\varepsilon}\\ &=\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{3} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big) \end{aligned}$$

$S0−S1=∣∣Xθ^−X0θ^0∣∣2S_{0}-S_{1}=||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2}$ については

$$Xθ^−X0θ^0=A2x=A2X0θ0+A2ε=(X(X′X)−1X′−X0(X0′X0)−1X0′)X0θ0+A2ε=(X(X′X)−1X′X0−X0)θ0+A2ε=(X(X′X)−1X′X−X)Bθ0+A2ε=A2ε\begin{aligned} X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0} &= A_{2}\boldsymbol{x} = A_{2}X_{0}\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= (X(X'X)^{-1}X' - X_{0}(X_{0}'X_{0})^{-1}X_{0}')X_{0}\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= (X(X'X)^{-1}X'X_{0} - X_{0})\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= (X(X'X)^{-1}X'X - X)B\boldsymbol{\theta}_{0} + A_{2}\boldsymbol{\varepsilon}\\ &= A_{2}\boldsymbol{\varepsilon} \end{aligned}$$

$$S0−S1σ2=1σ2∣∣Xθ^−X0θ^0∣∣2=1σ2ε′A2′A2ε=(εσ)′A2(εσ)\begin{aligned} \dfrac{S_{0} - S_{1}}{\sigma^{2}} &= \dfrac{1}{\sigma^{2}} ||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0}||^{2} = \dfrac{1}{\sigma^{2}}\boldsymbol{\varepsilon}'A_{2}'A_{2}\boldsymbol{\varepsilon}\\ &=\Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{2} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big) \end{aligned}$$

ここで、上記の $A2(=X(X′X)−1X′−X0(X0′X0)−1X0′),A3(=I10−X(X′X)−1X′)A_{2}(=X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}'),A_{3}(=I_{10}-X(X'X)^{-1}X')$ に加え、$A1=X0(X0′X0)−1X0′A_{1}=X_{0}(X_{0}'X_{0})^{-1}X_{0}'$とすると、以下の式を満たす。この式から $A1,A2,A3A_{1}, A_{2}, A_{3}$ がどのような行列であるかを考える。

$${A1+A2+A3=I10(i)A1A2=O(ii)A3A2=O(iii)A12=A1(iv)A32=A3(v)\left\{ \begin{align*} &A_{1}+A_{2}+A_{3}=I_{10} \hspace{15pt} \text{(i)}\\ &A_{1}A_{2} = O \hspace{54pt} \text{(ii)} \\ &A_{3}A_{2} = O \hspace{53pt} \text{(iii)} \\ &A_{1}^{2} = A_{1} \hspace{61pt} \text{(iv)} \\ &A_{3}^{2} = A_{3} \hspace{62pt} \text{(v)} \\ \end{align*} \right.$$

$(ii)\text{(ii)}$

$$A1A2=X0(X0′X0)−1X0′(X(X′X)−1X′−X0(X0′X0)−1X0′)=X0(X0′X0)−1X0′X(X′X)−1X′−X0(X0′X0)−1X0′=X0(X0′X0)−1X0′(X(X′X)−1X′−I10)=X0(X0′X0)−1B′X′(X(X′X)−1X′−I10)=X0(X0′X0)−1B′(X′−X′)=O\begin{aligned} A_{1}A_{2} &= X_{0}(X_{0}'X_{0})^{-1}X_{0}'(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\\ &= X_{0}(X_{0}'X_{0})^{-1}X_{0}'X(X'X)^{-1}X'- X_{0}(X_{0}'X_{0})^{-1}X_{0}' \\ &= X_{0}(X_{0}'X_{0})^{-1}X_{0}'(X(X'X)^{-1}X'-I_{10}) \\ &= X_{0}(X_{0}'X_{0})^{-1}B'X'(X(X'X)^{-1}X'-I_{10}) \\ &= X_{0}(X_{0}'X_{0})^{-1}B'(X'-X') \\ &= O \end{aligned}$$

$(iii)\text{(iii)}$

$$A3A2=(I10−X(X′X)−1X′)(X(X′X)−1X′−X0(X0′X0)−1X0′)=X(X′X)−1X′−X0(X0′X0)−1X0′−X(X′X)−1X′+X(X′X)−1X′X0(X0′X0)−1X0′=(X(X′X)−1X′−I10)X0(X0′X0)−1X0′=(X(X′X)−1X′−I10)XB(X0′X0)−1X0′=(X−X)B(X0′X0)−1X0′=O\begin{aligned} A_{3}A_{2} &= (I_{10}-X(X'X)^{-1}X')(X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}')\\ &= X(X'X)^{-1}X'-X_{0}(X_{0}'X_{0})^{-1}X_{0}' - X(X'X)^{-1}X' + X(X'X)^{-1}X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\ &= (X(X'X)^{-1}X'-I_{10})X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\ &= (X(X'X)^{-1}X'-I_{10})XB(X_{0}'X_{0})^{-1}X_{0}'\\ &= (X-X)B(X_{0}'X_{0})^{-1}X_{0}'\\ &= O \end{aligned}$$

$(iv)\text{(iv)}$

$$A12=X0(X0′X0)−1X0′X0(X0′X0)−1X0′=X0(X0′X0)−1X0′=A1\begin{aligned} A_{1}^{2} &=X_{0}(X_{0}'X_{0})^{-1}X_{0}'X_{0}(X_{0}'X_{0})^{-1}X_{0}'\\ &=X_{0}(X_{0}'X_{0})^{-1}X_{0}'=A_{1} \end{aligned}$$

$(v)\text{(v)}$

$$A32=(I10−X(X′X)−1X′)(I10−X(X′X)−1X′)=I10+X(X′X)−1X′−2X(X′X)−1X′=I10−X(X′X)−1X′=A3\begin{aligned} A_{3}^{2} &=(I_{10}-X(X'X)^{-1}X')(I_{10}-X(X'X)^{-1}X')\\ &=I_{10}+X(X'X)^{-1}X'-2X(X'X)^{-1}X'\\ &=I_{10}-X(X'X)^{-1}X'=A_{3} \end{aligned}$$

$(i)\text{(i)}$ に $A2A_{2}$ をかけることにより、

$$A1A2+A22+A3A2=A2 A_{1}A_{2} + A_{2}^{2} + A_{3}A_{2} = A_{2}$$

$(ii)\text{(ii)}$,$(iii)\text{(iii)}$ より

$$A22=A2A_{2}^{2} = A_{2}$$

また、$Ai′=Ai(i=1,2,3)A_{i}'=A_{i} (i=1,2,3)$を満たすことから、 $A1,A2,A3A_{1}, A_{2}, A_{3}$ はすべて対称冪等行列である。
対称冪等行列は　$rank=tracerank = trace$ となることから(後述)、$(i)\text{(i)}$より

$$tr(A1+A2+A3)=tr(I10)tr(A1)+tr(A2)+tr(A3)=10rank(A1)+rank(A2)+rank(A3)=10\begin{aligned} tr(A_{1} + A_{2} + A_{3} ) = tr (I_{10}) \\ tr(A_{1}) + tr(A_{2}) + tr(A_{3}) = 10 \\ rank(A_{1}) + rank(A_{2}) + rank(A_{3}) = 10 \end{aligned}$$

$A1,A2,A3A_{1}, A_{2}, A_{3}$ の $rankrank$ を求めると、

$$rank(A1)=tr({X0}{(X0′X0)−1X0′})=tr((X0′X0)−1X0′X0)=tr(1)=1rank(A3)=tr(I10)−tr({X}{(X′X)−1X′})=10−tr((X′X)−1X′X)=10−tr(I5)=5rank(A2)=10−rank(A1)−rank(A3)=4\begin{aligned} rank(A_{1})&=tr(\{X_{0}\}\{(X_{0}'X_{0})^{-1}X_{0}'\})\\ &=tr((X_{0}'X_{0})^{-1}X_{0}'X_{0})\\ &=tr(1)=1\\ rank(A_{3})&=tr(I_{10}) - tr(\{X\}\{(X'X)^{-1}X'\})\\ &=10 - tr({(X'X)^{-1}X'X})=10-tr(I_{5})=5 \\ rank(A_{2})&=10 - rank(A_{1}) - rank(A_{3}) = 4 \end{aligned}$$

まとめると、

$${A1:rank 1 の対称冪等行列A2:rank 4 の対称冪等行列A3:rank 5 の対称冪等行列\left\{ \begin{aligned} &A_{1}: rank \space 1 \space \small の対称冪等行列\\ &A_{2}: rank \space 4 \space \small の対称冪等行列\\ &A_{3}: rank \space 5 \space \small の対称冪等行列 \end{aligned} \right.$$

$rank=rrank = r$ の対称冪等行列 $AiA_i$ について考える。
対称行列の性質により、$Ai=C′ΛC(C:A_{i}=C'\Lambda C(C:$直交行列$))$と固有値分解できる。
また、冪等行列の性質により、固有値が $0,10,1$ のみで構成される。ゆえに$AiA_{i}$ の $rankrank$ は $rr$ であることから、$Λ=diag(1,…,1,0,…,0)\Lambda=diag(1,\dots ,1,0, \dots ,0)$と表せる。( $11$ が $rr$ 個、 $00$ が $10−r10-r$ 個)
さらに、$ε∼N(0,σ2I10)\boldsymbol{{\varepsilon}}\sim N(\boldsymbol{0},\sigma^{2}I_{10})$ より, 以下のように $u,z\boldsymbol{u},\boldsymbol{z}$ を定義すると、

$${u=εσ∼N(0,I10)z=Cu∼N(0,I10)(∵C:直交行列)\left\{ \begin{aligned} &\boldsymbol{u}=\dfrac{\boldsymbol{\varepsilon}}{\sigma}\sim N(\boldsymbol{0},I_{10}) \\ &\boldsymbol{z}=C\boldsymbol{u} \sim N(\boldsymbol{0},I_{10})\big(\because C:\small 直交行列\big) \end{aligned} \right.$$

$$(εσ)′Ai(εσ)=u′Aiu=u′C′ΛCu=(Cu)′ΛCu=z′Λz=∑i=1rzi2∼χ2(r)\begin{aligned} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big)'A_{i} \Big(\dfrac{\boldsymbol{\varepsilon}}{\sigma}\Big) &=\boldsymbol{u}'A_{i}\boldsymbol{u} =\boldsymbol{u}'C'\Lambda C\boldsymbol{u}\\ &=(C\boldsymbol{u})'\Lambda C\boldsymbol{u} =\boldsymbol{z}'\Lambda \boldsymbol{z} =\sum_{i=1}^{r}z_{i}^{2}\sim \chi^{2}(r) \end{aligned}$$

また、前述のように、 $AiA_{i}$ の $rankrank$ と $tracetrace$ には以下のような関係式がある。

$$rank(Ai)=rank(Λ)=tr(Λ)=tr({C}{AiC′})=tr(AiC′C)=tr(Ai)\begin{aligned} rank(A_{i}) &= rank(\Lambda) =tr(\Lambda) = tr(\{C\}\{A_{i}C'\}) = tr(A_{i}C'C) \\ &= tr(A_{i}) \end{aligned}$$

よって、

$${S1σ2∼χ2(5)S0−S1σ2∼χ2(4)\left\{ \begin{aligned} \dfrac{S_{1}}{\sigma^{2}} &\sim \chi^{2}(5) \\ \dfrac{S_{0}-S_{1}}{\sigma^{2}} &\sim \chi^{2}(4) \end{aligned} \right.$$

以上より、

$$F=S0−S1σ2/4S1σ2/5=∣∣Xθ^−X0θ0^∣∣2/4∣∣x−Xθ^∣∣2/5∼F(4,5)F=\dfrac{\dfrac{S_{0}-S_{1}}{\sigma^{2}}/4}{\dfrac{S_{1}}{\sigma^{2}}/5} =\dfrac{||X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}||^{2}/4} {||\boldsymbol{x}-X\hat{\boldsymbol{\theta}}||^{2}/5} \sim F(4,5)$$

[4]

題意より、$FF$ の分子の $(Xθ^−X0θ0^)(X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}})$ の期待値 $E[Xθ^−X0θ0^]E[X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}}]$が問題文における期待値のベクトル$(μ1,…,μ10)′(=μ(\mu_{1},\dots,\mu_{10})'\big(= \boldsymbol{\mu}$とする$)\big)$ に該当する。
ゆえに、非心度 $λ=μ′μ\lambda = \boldsymbol{\mu}'\boldsymbol{\mu}$ と表せる。
対立仮説の下では $x=Xθ+ε\boldsymbol{x} = X\boldsymbol{\theta} + \boldsymbol{\varepsilon}$ となることから、

$$Xθ^−X0θ^0=A2x=A2(Xθ+ε)=A2Xθ+A2εX\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}}_{0} =A_{2}\boldsymbol{x}= A_{2}( X\boldsymbol{\theta} + \boldsymbol{\varepsilon}) =A_{2}X\boldsymbol{\theta}+A_{2}\boldsymbol{\varepsilon}$$

よって、

$$μ=E[Xθ^−X0θ0^]=A2Xθ=(X(X′X)−1X′X−X0(X0′X0)−1X0′X)θ=(X−X0(X0′X0)−1X0′X)θ\begin{aligned} \boldsymbol{\mu} &=E[ X\hat{\boldsymbol{\theta}}-X_{0}\hat{\boldsymbol{\theta}_{0}} ]\\ &=A_{2}X\boldsymbol{\theta}=(X(X'X)^{-1}X'X - X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ &=(X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta} \end{aligned}$$

$$λ=((X−X0(X0′X0)−1X0′X)θ)′(X−X0(X0′X0)−1X0′X)θ=θ′(X′X−2X′X0(X0′X0)−1X0′X+X′X0(X0′X0)−1X0′X0(X0′X0)−1X0′X)θ=θ′(X′X−X′X0(X0′X0)−1X0′X)θ\begin{aligned} \lambda &= ((X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta})' (X -X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - 2X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X + X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - X'X_{0}(X_{0}'X_{0})^{-1}X_{0}'X)\boldsymbol{\theta}\\ \end{aligned}$$

ここで、$X0(1)=i10,X0(2)=2i10X_{0(1)} = \boldsymbol{i}_{10} , X_{0(2)} = 2\boldsymbol{i}_{10}$ より $X0=ki10X_{0}= k\boldsymbol{i}_{10}$ とおくと、

$$λ=θ′(X′X−X′ki10(ki10′ki10)−1ki10′X)θ=θ′(X′X−k2(10k2)−1X′i10i10′X)θ=θ′(X′X−110X′i10i10′X)θ=θ′(X′X−110X′i10(X′i10)′)θ\begin{aligned} \lambda &= \boldsymbol{\theta}'(X'X - X'k\boldsymbol{i}_{10}(k\boldsymbol{i}_{10}'k\boldsymbol{i}_{10})^{-1}k\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - k^{2}(10k^{2})^{-1}X'\boldsymbol{i}_{10}\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - \dfrac{1}{10}X'\boldsymbol{i}_{10}\boldsymbol{i}_{10}'X)\boldsymbol{\theta}\\ &= \boldsymbol{\theta}'(X'X - \dfrac{1}{10} X'\boldsymbol{i}_{10}(X'\boldsymbol{i}_{10})')\boldsymbol{\theta} \end{aligned}$$

また、(1), (2) における $X′X,X′i10X'X, X'\boldsymbol{i}_{10}$ は

$${X(1)′X(1)=(20000 02000 00200 00020 00002)=2I5X(2)′X(2)=(41111 14111 11411 11141 11114)=3(10000 01000 00100 00010 00001)+(11111 11111 11111 11111 11111)=3I5+i5i5′\left\{ \begin{aligned} X_{(1)}'X_{(1)}&= \begin{pmatrix} 2 & 0 & 0 & 0 & 0 \\\ 0 & 2 & 0 & 0 & 0 \\\ 0 & 0 & 2 & 0 & 0 \\\ 0 & 0 & 0 & 2 & 0 \\\ 0 & 0 & 0 & 0 & 2 \\ \end{pmatrix}=2I_{5}\\ X_{(2)}'X_{(2)}&= \begin{pmatrix} 4 & 1 & 1 & 1 & 1 \\\ 1 & 4 & 1 & 1 & 1 \\\ 1 & 1 & 4 & 1 & 1 \\\ 1 & 1 & 1 & 4 & 1 \\\ 1 & 1 & 1 & 1 & 4 \\ \end{pmatrix}\\ &=3 \begin{pmatrix} 1 & 0 & 0 & 0 & 0 \\\ 0 & 1 & 0 & 0 & 0 \\\ 0 & 0 & 1 & 0 & 0 \\\ 0 & 0 & 0 & 1 & 0 \\\ 0 & 0 & 0 & 0 & 1 \\ \end{pmatrix} + \begin{pmatrix} 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\\ 1 & 1 & 1 & 1 & 1 \\ \end{pmatrix}\\ &=3I_{5}+\boldsymbol{i}_{5}\boldsymbol{i}_{5}' \end{aligned} \right.$$

$${X(1)′i10=2i5X(2)′i10=4i5\left\{ \begin{aligned} X_{(1)}'\boldsymbol{i_{10}} &= 2\boldsymbol{i_{5}}\\ X_{(2)}'\boldsymbol{i_{10}} &= 4\boldsymbol{i_{5}}\\ \end{aligned} \right.$$

$$λ(1)=θ′2I5θ−110θ′2i52i5′θ=2∑i=15θi2−25(∑i=15θi)2=2(∑i=15θi2−15(∑i=15θi)2)=2∑i=15(θi−θˉ)2(θˉ=15∑i=15θi) \begin{aligned} \lambda_{(1)} &=\boldsymbol{\theta}'2I_{5}\boldsymbol{\theta} -\dfrac{1}{10}\boldsymbol{\theta}'2\boldsymbol{i}_{5} 2\boldsymbol{i}_{5}'\boldsymbol{\theta}\\ &=2\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{2}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2} = 2\Bigg(\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{1}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}\Bigg) \\&= 2\sum_{i=1}^{5}{(\theta_{i}-\bar{\theta})^{2}}\Bigg(\bar{\theta}=\dfrac{1}{5}\sum_{i=1}^{5}{\theta_{i}}\Bigg) \end{aligned}$$

$$λ(2)=θ′(3I5+i5i5′)θ−110θ′4i54i5′θ=3∑i=15θi2+(∑i=15θi)2−85(∑i=15θi)2=3(∑i=15θi2−15(∑i=15θi)2)=3∑i=15(θi−θˉ)2 \begin{aligned} \lambda_{(2)} &=\boldsymbol{\theta}'(3I_{5} + \boldsymbol{i}_{5}\boldsymbol{i}_{5}')\boldsymbol{\theta} -\dfrac{1}{10}\boldsymbol{\theta}'4\boldsymbol{i}_{5} 4\boldsymbol{i}_{5}'\boldsymbol{\theta}\\ &=3\sum_{i=1}^{5}{\theta_{i}^{2}} + \Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2} -\dfrac{8}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2} = 3\Bigg(\sum_{i=1}^{5}{\theta_{i}^{2}} - \dfrac{1}{5}\Big(\sum_{i=1}^{5}{\theta_{i}}\Big)^{2}\Bigg) \\&= 3\sum_{i=1}^{5}{(\theta_{i}-\bar{\theta})^{2}} \end{aligned}$$

[5]

推定量の分散においては、(2)の方が(1)より小さいため、(2)の方法が適している。
非心度においては　(2) の方が (1) よりも大きいため、 (2)の方法が適している。
ゆえに、(2) の方法が (1) よりも優れているといえる。
(非心度が大きいほうが、対立仮説が真の場合に検定統計量 $FF$ の分子が大きくなり、有意になりやすくなる。)