統計検定1級 2016年 統計数理 問題5 解答例 + F分布からベータ分布の変数変換

はじめに

今回は統計検定1級より 2016年 統計数理 問題5 の解答を記載します。
欠測の発生が完全にランダムであるかを検定する、MCAR検定に関する問題です。
検定が同等であることを示す問題[3]について、解答では狭義単調増加の関数による変数変換の場合には、検定が同等であるとしています。これについて補足します。
また、検定統計量 $FF$ と $d2d^{2}$ の関係式に関連して、 $FF$ 分布からベータ分布の変数変換についても説明します。
問題については著作物のため割愛します。

前置き

"検定が同等である"について

”検定が同等である”については、解答では狭義単調増加の関数による変数変換の場合には、検定が同等であるとしています。補足説明の前にまず、"検定が同等である"に関して定義を明確にします。"検定が同等である"の定義については、解答等から、以下のように推察されます。

検定統計量 $XX$ を用いる検定 $AA$ と 検定統計量 $YY$ を用いる検定 $BB$ について、$Y=g(X)Y=g(X)$ と表される場合、
"両検定の有意水準を $α\alpha$ として、観測値 $xx$ が、検定 $AA$ で棄却されるならば、$g(x)(=y)g(x)(=y)$ も検定 $BB$ で棄却され、逆も成り立つ"
記号で表現すると、検定 $A,BA,B$の棄却域を $RA,RBR_{A},R_{B}$ として "$RB={g(x)(=y)∣x∈RA}R_{B}=\{g(x)(=y)| x\in R_{A} \}$" となることを意味します。

上記定義の下では、片側検定において、狭義単調増加の関数による変数変換の場合は、検定は同等であるといえます。
以下、証明です。

$X,YX,Y$ が有意水準 $α\alpha$ の片側検定において、上側 $α\alpha$ の点をそれぞれ $xα,yαx_{\alpha}, y_{\alpha}$ とすると、
検定 $AA$ の棄却域は $X>xαX\gt x_{\alpha}$、検定 $BB$ の棄却域は $Y>yαY\gt y_{\alpha}$ であるから、 $yα=g(xα)y_{\alpha}=g(x_{\alpha})$ を満たせば、上記の定義を満たすことになる。
有意水準 $α\alpha$ については

$$α=P(X>xα)=P(Y>yα)\begin{aligned} \alpha=P(X\gt x_{\alpha})=P(Y\gt y_{\alpha}) \end{aligned}$$

が成立する。

また、 $g(x)g(x)$ が狭義単調増加であるとき、$X>xα↔g(X)>g(xα)X\gt x_{\alpha} \leftrightarrow g(X) \gt g(x_{\alpha})$ であるから、

$$α=P(X>xα)=P(g(X)>g(xα))=P(Y>g(xα))\begin{aligned} \alpha &=P(X\gt x_{\alpha})\\ &=P(g(X) \gt g(x_{\alpha}) )\\ &=P(Y \gt g(x_{\alpha}) ) \end{aligned}$$

となる。以上より、 $yα=g(xα)y_{\alpha}=g(x_{\alpha})$ となることから、検定 $AA$ の棄却域は $X>xαX\gt x_{\alpha}$、 $BB$ の棄却域は $Y>g(xα)(=yα)Y\gt g(x_{\alpha})(=y_{\alpha})$ となる。
以上より、$xx$ が検定 $AA$ で棄却されるならば、 $g(x)g(x)$ も $BB$ の棄却され、その逆も成り立つことから、狭義単調増加の変数変換においては検定は同等である。(下側の場合も同様です。)

F 分布とベータ分布の変換について

本問題で登場する $d2d^{2}$ について、$F∼F(1,n−2)F \sim F(1,n-2)$ として、
$d2n−1=Fn−2+F\dfrac{d^{2}}{n-1}=\dfrac{F}{n-2+F}$ は $Beta(12,n−22)Beta\left(\dfrac{1}{2},\dfrac{n-2}{2} \right)$に従います。
さらに一般化すれば $X∼F(n1,n2)X \sim F(n_{1},n_{2})$ として、$Y=XX+n2n1Y=\dfrac{X}{X+\dfrac{n_{2}}{n_{1}}}$ は $Be(n12,n22)Be\left( \dfrac{n_{1}}{2}, \dfrac{n_{2}}{2} \right)$
に従います。証明は [補足] をご覧ください。

[1]

$$d2=1S2{m(Xˉ(1)−Xˉ)2+(n−m)(Xˉ(0)−Xˉ)2}=1S2{m(Xˉ(1)−mXˉ(1)+(n−m)Xˉ(0)n)2+(n−m)(Xˉ(0)−mXˉ(1)+(n−m)Xˉ(0)n)2}=1S2{m((n−m)Xˉ(1)−(n−m)Xˉ(0)n)2+(n−m)(−mXˉ(1)+mXˉ(0)n)2}=1S2{m(n−mn)2(Xˉ(1)−Xˉ(0))2+(n−m)(mn)2(Xˉ(1)−Xˉ(0))2}=1S2m(n−m)n2(n−m+m)(Xˉ(1)−Xˉ(0))2=1S2m(n−m)n(Xˉ(1)−Xˉ(0))2\begin{aligned} d^{2} &=\dfrac{1}{S^{2}}\left\{m(\bar{X}_{(1)}-\bar{X})^{2} + (n-m)(\bar{X}_{(0)}-\bar{X})^{2} \right\} \\ &=\dfrac{1}{S^{2}}\left\{ m\left(\bar{X}_{(1)}-\dfrac{m\bar{X}_{(1)}+(n-m)\bar{X}_{(0)}}{n}\right)^{2} +(n-m)\left(\bar{X}_{(0)}-\dfrac{m\bar{X}_{(1)}+(n-m)\bar{X}_{(0)}}{n}\right)^{2} \right\} \\ &=\dfrac{1}{S^{2}}\left\{ m\left(\dfrac{(n-m)\bar{X}_{(1)}-(n-m)\bar{X}_{(0)}}{n}\right)^{2} +(n-m)\left(\dfrac{-m\bar{X}_{(1)}+m\bar{X}_{(0)}}{n}\right)^{2} \right\} \\ &=\dfrac{1}{S^{2}}\left\{ m\left( \dfrac{n-m}{n} \right)^{2}\left(\bar{X}_{(1)}-\bar{X}_{(0)}\right)^{2} +(n-m)\left( \dfrac{m}{n} \right)^{2}\left(\bar{X}_{(1)}-\bar{X}_{(0)}\right)^{2} \right\}\\ &=\dfrac{1}{S^{2}}\dfrac{m(n-m)}{n^{2}} (n-m+m) \left(\bar{X}_{(1)}-\bar{X}_{(0)}\right)^{2} \\ &=\dfrac{1}{S^{2}}\dfrac{m(n-m)}{n} \left(\bar{X}_{(1)}-\bar{X}_{(0)}\right)^{2} \\ \end{aligned}$$

[2]

$F=SSBSSW/(n−2)F=\dfrac{SS_{B}}{SS_{W}/(n-2)}$ より、 $SSW=n−2FSSBSS_{W}=\dfrac{n-2}{F}SS_{B}$
$SST=SSB+SSW=(1+n−2F)SSBSS_{T} = SS_{B}+SS_{W}=\left(1+\dfrac{n-2}{F} \right)SS_{B}$ となることから、

$$d2=SSBSST/(n−1)=n−11+n−2F=(n−1)Fn−2+F\begin{aligned} d^{2} &=\dfrac{SS_{B}}{SS_{T}/(n-1)} \\ &=\dfrac{n-1}{1+\dfrac{n-2}{F}} \\ &=\dfrac{(n-1)F}{n-2+F} \end{aligned}$$

[3]

まず、2標本 $tt$ 検定の検定統計量 $TT$ と $FF$ の関係については

$$F=SSBSSW/(n−2)=m(Xˉ(1)−Xˉ)2+(n−m)(Xˉ(0)−Xˉ)2SSW/(n−2)=1SSW/(n−2)m(n−m)n(Xˉ(1)−Xˉ(0))2\begin{aligned} F &=\dfrac{SS_{B}}{\dfrac{}{}SS_{W}/(n-2)}\\ &=\dfrac{m(\bar{X}_{(1)}-\bar{X})^{2} + (n-m)(\bar{X}_{(0)}-\bar{X})^{2}}{SS_{W}/(n-2)}\\ &=\dfrac{1}{SS_{W}/(n-2)}\dfrac{m(n-m)}{n} \left(\bar{X}_{(1)}-\bar{X}_{(0)}\right)^{2} \end{aligned}$$

$$T=Xˉ(1)−Xˉ(0)(n−1)⋅1n−1∑i=1m(Xi−Xˉ(1))2+(n−m−1)⋅1n−m−1∑i=mn(Xi−Xˉ(0))2n−2(1m+1n−m)=Xˉ(1)−Xˉ(0)SSWn−2⋅nm(n−m)=1SSW/(n−2)m(n−m)n(Xˉ(1)−Xˉ(0))\begin{aligned} T &=\dfrac{\bar{X}_{(1)}-\bar{X}_{(0)}} {\sqrt{\dfrac{(n-1)\cdot\dfrac{1}{n-1}\sum_{i=1}^{m}(X_{i}-\bar{X}_{(1)})^{2} +(n-m-1)\cdot\dfrac{1}{n-m-1}\sum_{i=m}^{n}(X_{i}-\bar{X}_{(0)})^{2}}{n-2} \left( \dfrac{1}{m} + \dfrac{1}{n-m} \right)}}\\ &=\dfrac{\bar{X}_{(1)}-\bar{X}_{(0)}} {\sqrt{\dfrac{SS_{W}}{n-2} \cdot \dfrac{n}{m(n-m)}} }\\ &=\dfrac{1} {\sqrt{SS_{W}/(n-2) }} \sqrt{\dfrac{m(n-m)}{n}} (\bar{X}_{(1)}-\bar{X}_{(0)} )\\ \end{aligned}$$

よって、$T2=FT^{2}=F$ となる。

検定が同等である条件は、今回の例では ”検定の有意水準を $α\alpha$ として、観測値 $tt$ が 2 標本 $tt$ 検定で棄却されれば、$t2(=f)t^{2}\left(=f\right)$ も $FF$ による検定で棄却され、逆も成り立つ" ことである。

まず、$T→FT \rightarrow F$ の変換については、$T,FT,F$ の上側 $α\alpha$ の点をそれぞれ $tα,fαt_{\alpha}, f_{\alpha}$ とすると、
両検定の有意水準を $α\alpha$ として、2 標本 $tt$ 検定の棄却域は $∣T∣>tα/2|T| \gt t_{\alpha/2}$、 $FF$ による検定の棄却域は $F>fαF \gt f_{\alpha}$ である。

有意水準 $α\alpha$ については

$$α=P(∣T∣>tα/2)=P(F>fα)\begin{aligned} \alpha=P( |T| \gt t_{\alpha/2})=P(F \gt f_{\alpha}) \end{aligned}$$

を満たす。

また、$∣T∣>tα/2↔T2>tα/22|T| \gt t_{\alpha/2} \leftrightarrow T^{2} \gt t_{\alpha/2}^{2}$ であるから、

$$α=P(∣T∣>tα/2)=P(T2>tα/22)=P(F>tα/22)\begin{aligned} \alpha &=P( |T| \gt t_{\alpha/2})\\ &=P( T^{2} \gt t^{2}_{\alpha/2})\\ &=P(F \gt t^{2}_{\alpha/2} ) \\ \end{aligned}$$

よって $fα=tα/22f_{\alpha} = t_{\alpha/2}^{2}$ が成り立ち、2 標本 $tt$ 検定の棄却域は $∣T∣>tα/2|T| \gt t_{\alpha/2}$、 $FF$ による検定の棄却域は $F>tα/22(=fα)F \gt t_{\alpha/2}^{2}(=f_{\alpha})$ となる。以上より、観測値 $tt$ が 2 標本 $tt$ 検定で棄却されれば、$t2(=f)t^{2}\left(=f\right)$ も $FF$ による検定で棄却され、逆も成り立つことから、同じ検定であるといえる。
（2 標本 $tt$ 検定（両側）と 2 群の分散分析は等しいということになる。）

次に、$F→d2F \rightarrow d^{2}$ の変換については、

$$d2=(n−1)Fn−2+F=g(F)d^{2}=\dfrac{(n-1)F}{n-2+F}=g(F)$$

とすると、$g(f)g(f)$ は狭義単調増加 $(g′(f)>0)( g'(f) \gt 0 )$ である。よって、$d2d^{2}$ による検定と $FF$ による検定は同等であるといえる。

以上より、2 標本 $tt$ 検定と $d2d^{2}$ における検定は、同等の検定であるといえる。

[4]

$d2d^{2}$ による検定が有意であった場合、欠測時と非欠測時における分布の平均が異なることから、MCARであるとは言えない。また、有意でない場合も欠測時と非欠測時における分布の平均が異なるとは言えないだけであり、欠測・非欠測の分布が等しいとまで結論付けることはできない。

[5]

まず、分散が異なるか否かについては、$FF$ 検定を用いることができる。また、分布自体が異なるか否かについては、経験分布(観測値から作成される累積分布関数)の差の最大値を統計検定量としたコルモゴロフ–スミルノフ検定がある。

[補足]

本項では、前置きで記載した以下の変数変換について解説します。

$X∼F(n1,n2)X \sim F(n_{1},n_{2})$ とした場合に、$Y=XX+n2n1Y=\dfrac{X}{X+\dfrac{n_{2}}{n_{1}}}$ は $Beta(n12,n22)Beta\left( \dfrac{n_{1}}{2}, \dfrac{n_{2}}{2} \right)$ に従う。

まず、$Y=XX+n2n1Y=\dfrac{X}{X+\dfrac{n_{2}}{n_{1}}}$ を $XX$ について解くと

$$Y=XX+n2n1(X+n2n1)Y=Xn2n1Y=(1−Y)XX=n2n1Y(1−Y)\begin{aligned} Y&=\dfrac{X}{X+\dfrac{n_{2}}{n_{1}}}\\ \left(X+\dfrac{n_{2}}{n_{1}}\right)Y&=X \\ \dfrac{n_{2}}{n_{1}} Y&=(1-Y)X \\ X&=\dfrac{n_{2}}{n_{1}} \dfrac{ Y}{(1-Y)} \\ \end{aligned}$$

となる。次に、$X=x,Y=yX=x,Y=y$ とおき、$xx$ を $yy$ について微分すると

$$dxdy=n2n1(1−y−y⋅(−1))(1−y)2dxdy=n2n11(1−y)2\begin{aligned} \dfrac{dx}{dy} = \dfrac{n_{2}}{n_{1}}\dfrac{(1-y-y\cdot(-1))}{(1-y)^{2}} \\ \dfrac{dx}{dy} = \dfrac{n_{2}}{n_{1}} \dfrac{1}{(1-y)^{2}} \\ \end{aligned}$$

また、$YY$ の値の範囲は $[0,1][0,1]$ である。

ここで、$XX$ の確率密度関数　$fX(x)f_{X}(x)$ は

$$fX(x)=(n1n2)n12xn12−1B(n12,n22)(1+n1n2x)n1+n22\begin{aligned} f_{X}(x)&=\dfrac{ \left( \dfrac{n_{1}}{n_{2}} \right)^{\tfrac{n_{1}}{2}} x^{\tfrac{n_{1}}{2}-1}} {\Beta\left(\dfrac{n_{1}}{2},\dfrac{n_{2}}{2} \right) \left(1+\dfrac{n_{1}}{n_{2}}x \right)^{\frac{n_{1}+n_{2}}{2}} }\\ \end{aligned}$$

よって $YY$ の確率密度関数 $fY(y)f_{Y}(y)$ は $yy$ は $xx$ について単調増加であることから

$$fY(y)=fX(x)∣dxdy∣=(n1n2)n12(n2n1y1−y)n12−1B(n12,n22)(1+n1n2n2n1y1−y)n1+n22n2n11(1−y)2=(n1n2)n12−(n12−1)−1yn12−1(1−y)−(n12−1)−2B(n12,n22)(1−y+y1−y)n1+n22=yn12−1(1−y)−n12−1+n1+n22B(n12,n22)=yn12−1(1−y)n22−1B(n12,n22)\begin{aligned} f_{Y}(y) &= f_X(x)\left| \dfrac{dx}{dy} \right| \\ &=\dfrac{ \left( \dfrac{n_{1}}{n_{2}} \right)^{\tfrac{n_{1}}{2}} \left( \dfrac{n_{2}}{n_{1}} \dfrac{y}{1-y} \right)^{\tfrac{n_{1}}{2}-1}} {\Beta\left(\dfrac{n_{1}}{2},\dfrac{n_{2}}{2} \right) \left(1+\dfrac{n_{1}}{n_{2}} \dfrac{n_{2}}{n_{1}} \dfrac{y}{1-y} \right)^{\frac{n_{1}+n_{2}}{2}} } \dfrac{n_{2}}{n_{1}} \dfrac{1}{(1-y)^{2}} \\ &=\dfrac{\left( \dfrac{n_{1}}{n_{2}} \right)^{\tfrac{n_{1}}{2}-\left(\tfrac{n_{1}}{2}-1 \right)-1} y^{\tfrac{n_{1}}{2}-1} (1-y)^{-\left(\tfrac{n_{1}}{2}-1 \right)-2} } {\Beta\left(\dfrac{n_{1}}{2},\dfrac{n_{2}}{2} \right) \left(\dfrac{1-y+y}{1-y} \right)^{\frac{n_{1}+n_{2}}{2}} } \\ &=\dfrac{ y^{\tfrac{n_{1}}{2}-1} (1-y)^{-\tfrac{n_{1}}{2}-1+\tfrac{n_{1}+n_{2}}{2}} } {\Beta\left(\dfrac{n_{1}}{2},\dfrac{n_{2}}{2} \right) } \\ &=\dfrac{ y^{\tfrac{n_{1}}{2}-1} (1-y)^{\tfrac{n_{2}}{2} -1} } {\Beta\left(\dfrac{n_{1}}{2},\dfrac{n_{2}}{2} \right) } \\ \end{aligned}$$

以上より、
$X∼F(n1,n2), Y=XX+n2n1X \sim F(n_{1},n_{2}),\ Y=\dfrac{X}{X+\dfrac{n_{2}}{n_{1}}}$ としたとき、

$$Y∼Beta(n12,n22)Y \sim Beta \left(\dfrac{n_{1}}{2}, \dfrac{n_{2}}{2} \right)$$

となる。