はじめに
今回は統計検定1級より 2013年 理工学 問題3 の解答を記載します。
寿命試験において試験を中断した場合の寿命の最尤推定量を求める問題です。
ヒントが与えられているため、特段難しいというわけではありませんが、ヒントで与えられる内容については公式の解答では言及がなかったため、その証明方法について説明します。
問題については著作物のため割愛します。
前置き
ヒントの内容は以下になります。
-
X_{1},\ ...\ ,X_{n} が互いに独立に Exp(\theta^{-1}) に従う。
-
X_{(1)},\ ...\ ,X_{(n)} を X_{1},\ ...\ ,X_{n} の順序統計量(X_{(1)} \lt \cdots \lt X_{(n)})とするとき以下が成立する。
Y_{i} = (n-i+1)(X_{(i)}-X_{(i-1)}) (i=1,\ ...\ ,n) として、
- Y_{i} \sim Exp(\theta^{-1})
-
Y_{i},Y_{j}\ (i\neq j) は互いに独立である。
証明についてはまずは自力で解いてみることをお勧めします。証明方法は [補足] の項をご覧ください。
[1]
Exp(\theta^{-1}) に従い、互いに独立な確率変数を X_{1},\ ...\ ,X_{n} とし、これらの同時分布を求める。
このとき、
\left\{ \begin{aligned}
&X_{1}=x_{(1)} \\
&\hspace{20pt} \vdots \\
&X_{r}=x_{(r)} \\
&X_{r+1},\ ...\ ,X_{n} \gt x_{(r)} \\
\end{aligned} \right.
を満たす。それぞれ独立であるから、
\begin{aligned}
P(& X_{1}=x_{(1)},\ \ ...\ ,X_{r}=x_{(r)},
X_{r+1},\ ...\ ,X_{n} \gt x_{(r)} ) \\
&=f(x_{(1)})\cdots f(x_{(r)})\left\{ 1-F(x_{(r)}) \right\}^{n-r}
\end{aligned}
X_{1},\ ...\ ,X_{n} の並べ方は \dfrac{n!}{(n-r)!} である。よって、尤度関数は
\begin{aligned}
L(\theta)
&= f(x_{(1)},\ ...\ ,x_{(r)}) \\
&= \dfrac{n!}{(n-r)!}f(x_{(1)})\cdots f(x_{(r)})
\left\{ 1-F(x_{(r)}) \right\}^{n-r} \\
&= \dfrac{n!}{(n-r)!} \left( \prod_{i=1}^{r}\theta^{-1}\exp\left[ -\dfrac{x_{(i)}}{\theta}\right] \right) \left(\exp\left[-\dfrac{x_{(r)}}{\theta} \right] \right)^{n-r}\\
&= \dfrac{n!}{(n-r)!} \theta^{-r}
\exp\left[ -\dfrac{\sum_{i=1}^{r}x_{(i)}+(n-r)x_{(r)}}{\theta} \right]
\end{aligned}
尤度方程式については
\begin{aligned}
\dfrac{d}{d\theta}\ln L(\theta)
&=\dfrac{d}{d\theta} \left( -r\ln\theta -\dfrac{1}{\theta} \left( \sum_{i=1}^{r}x_{(i)}+(n-r)x_{(r)} \right) \right)\\
&= -\dfrac{r}{\theta} + \dfrac{1}{\theta^{2}}
\left( \sum_{i=1}^{r}x_{(i)}+(n-r)x_{(r)}\right) \\
&= \dfrac{1}{\theta^{2}}\left\{ -r\theta +
\left( \sum_{i=1}^{r}x_{(i)}+(n-r)x_{(r)} \right) \right\} = 0\\
\end{aligned}
ゆえに、最尤推定量 \hat{\theta} は
\begin{aligned}
\hat{\theta}
&=\dfrac{\sum_{i=1}^{r}x_{(i)}+(n-r)x_{(r)}}{r}
\end{aligned}
[2]
Y_{i} \sim Exp(\theta^{-1}) より
\begin{aligned}
E[Y_{i}^{k}]
&=\int_{0}^{\infty} y^{k} \dfrac{\exp \left[-\dfrac{y}{\theta}\right] }{\theta} d\theta\\
&=k!\ \theta^{k} \int_{0}^{\infty} \left( \dfrac{1}{\theta} \right)^{k+1} \dfrac{1}{k!}\ y^{k+1-1} \exp \left[-\dfrac{y}{\theta}\right] d\theta \ \rightarrow Gamma(k+1,\theta^{-1})\\
&=k!\ \theta^{k} \\
\end{aligned}
よって Y の期待値、分散は
\begin{aligned}
&E[Y_{i}]=\theta\\
&V[{Y_{i}}]= E[Y_{i}^{2}] - \left( E[Y_{i}] \right)^{2}\\
&\hspace{22pt}= 2\theta^{2}-\theta^{2} \\
&\hspace{22pt}= \theta^{2} \\
\end{aligned}
また、
Y_{i} の定義から
\begin{aligned}
\sum_{i=1}^{r}Y_{i}
&=n(X_{(1)})+(n-1)(X_{(2)}-X_{(1)}) + \cdots + (n-r+1)(X_{(r)}-X_{(r-1)}) \\
&=X_{(1)}+ \cdots + X_{(r)} + (n-r)X_{(r)} \\
&=\sum_{i=1}^{r} X_{(i)} + (n-r)X_{(r)} \\
\end{aligned}
となる。以上より、\hat{\theta} の期待値は
\begin{aligned}
E\left[\hat{\theta} \right]
&=\dfrac{1}{r} E\left[\sum_{i=1}^{r} X_{(i)} + (n-r)X_{(r)} \right] \\
&=\dfrac{1}{r} E\left[\sum_{i=1}^{r}Y_{i} \right] \\
&=\dfrac{1}{r} r\theta \\
&= \theta
\end{aligned}
よって、\hat{\theta} は \theta の不偏推定量である。
また、分散については Y_{i}\ (i=1,\ ...\ ,r) は互いに独立であることから、
\begin{aligned}
V\left[\hat{\theta} \right]
&=\dfrac{1}{r^{2}} V\left[\sum_{i=1}^{r} X_{(i)} + (n-r)X_{(r)} \right] \\
&=\dfrac{1}{r^{2}} V\left[\sum_{i=1}^{r}Y_{i} \right] \\
&=\dfrac{1}{r^{2}} r\theta^{2} \\
&= \dfrac{\theta^{2}}{r}
\end{aligned}
標準誤差については
\begin{aligned}
\sqrt{V\left[\hat{\theta} \right] }
&= \dfrac{\theta}{\sqrt{r}}
\end{aligned}
[3]
数値を代入するだけなので割愛します。
[補足]
本項では以下の式の証明方法について説明します。
-
X_{1},\ ...\ ,X_{n} が互いに独立に Exp(\theta^{-1}) に従うとし、確率密度関数を f(x) とする。
-
X_{(1)},\ ...\ ,X_{(n)} を X_{1},\ ...\ ,X_{n} の順序統計量とするとき以下が成立する。
Y_{i} = (n-i+1)(X_{(i)}-X_{(i-1)}) (i=1,\ ...\ ,n) として、
- Y_{i} \sim Exp(\theta^{-1})
-
Y_{i},Y_{j}\ (i\neq j) は互いに独立である。
方針
証明は X_{(1)},\ ... \ ,X_{(n)} を Y_{1},\ ... \ ,Y_{n} に変換し、同時分布を求めるだけです。行列式(ヤコビアン)については上三角行列となりますので、対角成分の積で求まります。
証明
X_{(1)}, ...\ ,X_{(n)} の同時分布の確率密度関数 f_{X_{(1)},\ ...\ ,X_{(n)}}(x_{(1)},\ ...\ ,x_{(n)}) は [1] の式に r=n を代入して
\begin{aligned}
f_{X_{(1)},\ ...\ ,X_{(n)}}(x_{(1)},\ ...\ ,x_{(n)})
&= n! f(x_{(1)}) \cdots f(x_{(n)})
\end{aligned}
となる。また、Y_{i}=(n-i+1)(X_{(i)} - X_{(i-1)})より
\begin{aligned}
X_{(i)}
&= \dfrac{Y_{i}}{n-i+1} + X_{(i-1)} \\
&= \dfrac{Y_{i}}{n-i+1} + \dfrac{Y_{i-1}}{n-(i-1)+1} + X_{(i-2)} \\
&= \cdots =\sum_{j=1}^{i} \dfrac{Y_{j}}{n-j+1} \\
\end{aligned}
よって
\left\{\begin{aligned}
&X_{(1)} = \dfrac{Y_{1}}{n} \\
&X_{(2)} = \dfrac{Y_{1}}{n}+\dfrac{Y_{2}}{n-1} \\
&\hspace{20pt} \vdots \\
&X_{(i)} = \sum_{j=1}^{i} \dfrac{Y_{j}}{n-j+1} \\
&\hspace{20pt} \vdots \\
&X_{(n)}= \sum_{j=1}^{n} \dfrac{Y_{j}}{n-j+1}
\end{aligned}\right.
ヤコビアン J については
\begin{aligned}
J&=\begin{vmatrix}
\dfrac{\partial x_{(1)}}{\partial y_{1}} & \dfrac{\partial x_{(2)}}{\partial y_{1}} & \cdots & \dfrac{\partial x_{(n)}}{\partial y_{1}} \\\\
\dfrac{\partial x_{(1)}}{\partial y_{2}} & \dfrac{\partial x_{(2)}}{\partial y_{2}} & \cdots & \dfrac{\partial x_{(n)}}{\partial y_{2}} \\\\
\vdots & \vdots & \ddots & \vdots \\\\
\dfrac{\partial x_{(1)}}{\partial y_{n}} & \dfrac{\partial x_{(2)}}{\partial y_{n}} & \cdots & \dfrac{\partial x_{(n)}}{\partial y_{n}} \\
\end{vmatrix}\\
&=\begin{vmatrix}
\dfrac{1}{n} & \dfrac{1}{n} & \cdots & \dfrac{1}{n} \\\\
0 & \dfrac{1}{n-1} & \cdots & \dfrac{1}{n-1} \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & 1 \\
\end{vmatrix}\\
&=\dfrac{1}{n!}
\end{aligned}
X_{(1)},\ ...\ ,X_{(n)} \rightarrow Y_{1}, ...\ ,Y_{n} の変数変換により 、Y_{1}, ...\ ,Y_{n} の同時分布は
\begin{aligned}
f_{Y_{1},\ ...\ ,Y_{n}}(y_{1},\ ...\ ,y_{n})
&= f_{X_{(1)},\ ...\ ,X_{(n)}}(x_{(1)},\ ...\ ,x_{(n)})J \\
&= n! f(x_{(1)}) f(x_{(2)}) \cdots f(x_{(n)}) \dfrac{1}{n!} \\
&= f\left(\dfrac{y_{1}}{n} \right) f\left(\dfrac{y_{1}}{n} + \dfrac{y_{2}}{n-1} \right)\cdots f\left(\sum_{j=1}^{n}\dfrac{y_{j}}{n-j+1} \right) \\
&= \theta^{-n} \exp \left[ -\dfrac{1}{\theta} \left\{ \left(\dfrac{y_{1}}{n} \right) + \left( \dfrac{y_{1}}{n}
+\dfrac{y_{2}}{n-1} \right) + \cdots + \sum_{j=1}^{n}\dfrac{y_{j}}{n-j+1} \right\} \right]\\
&= \theta^{-n} \exp \left[ -\dfrac{1}{\theta} \left\{ \dfrac{y_{1}}{n}\cdot n + \dfrac{y_{2}}{n-1}\cdot (n-1) + \cdots + y_{n} \right\} \right] \\
&= \theta^{-n} \exp \left[ -\dfrac{1}{\theta} \left( y_{1} + y_{2} + \cdots + y_{n} \right) \right] \\
&= \prod_{i=1}^{n} \theta^{-1} \exp \left[ -\dfrac{y_{i}}{\theta} \right]
\end{aligned}
以上より、Y_{1}, ...\ ,Y_{n} の同時分布が Y_{i} \sim Exp(\theta^{-1}) \left( i=1,\ ...\ ,n \right) の周辺分布の積で表されることから、Y_{i} は互いに独立に Exp(\theta^{-1}) に従う。
また、問題のように x_{(r)} で中断する場合については
X_{(1)},\ ...\ ,X_{(r)} から Y_{1}, ...\ ,Y_{r} へ変数変換する。
ヤコビアン J については
\begin{aligned}
J&=\begin{vmatrix}
\dfrac{\partial x_{(1)}}{\partial y_{1}} & \dfrac{\partial x_{(2)}}{\partial y_{1}} & \cdots & \dfrac{\partial x_{(r)}}{\partial y_{1}} \\\\
\dfrac{\partial x_{(1)}}{\partial y_{2}} & \dfrac{\partial x_{(2)}}{\partial y_{2}} & \cdots & \dfrac{\partial x_{(r)}}{\partial y_{2}} \\\\
\vdots & \vdots & \ddots & \vdots \\\\
\dfrac{\partial x_{(1)}}{\partial y_{r}} & \dfrac{\partial x_{(2)}}{\partial y_{r}} & \cdots & \dfrac{\partial x_{(r)}}{\partial y_{r}} \\
\end{vmatrix}\\
&=\begin{vmatrix}
\dfrac{1}{n} & \dfrac{1}{n} & \cdots & \dfrac{1}{n} \\\\
0 & \dfrac{1}{n-1} & \cdots & \dfrac{1}{n-1} \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \dfrac{1}{n-r+1} \\
\end{vmatrix}\\
&=\dfrac{(n-r)!}{n!}
\end{aligned}
X_{(1)},\ ...\ ,X_{(r)} \rightarrow Y_{1},\ ...\ ,Y_{r} の変数変換により 、Y_{1},\ ...\ ,Y_{r} の同時分布は
\begin{aligned}
f_{Y_{1},\ ...\ ,Y_{r}}(y_{1},\ ...\ ,y_{r})
&= f(x_{(1)},\ ...\ ,x_{(r)})J \\
&= \dfrac{n!}{(n-r)!}f(x_{(1)})\cdots f(x_{(r)})
\left\{ 1-F(x_{(r)}) \right\}^{n-r} \dfrac{(n-r)!}{n!} \\
&= f\left(\dfrac{y_{1}}{n} \right) f\left(\dfrac{y_{1}}{n} + \dfrac{y_{2}}{n-1} \right)\cdots f\left(\sum_{j=1}^{r}\dfrac{y_{j}}{n-j+1} \right) \left\{ 1-F\left(\sum_{j=1}^{r}\dfrac{y_{j}}{n-j+1} \right) \right\}^{n-r} \\
&= \theta^{-r} \exp \left[ -\dfrac{1}{\theta} \left\{ \left(\dfrac{y_{1}}{n} \right) + \left( \dfrac{y_{1}}{n}
+\dfrac{y_{2}}{n-1} \right) + \cdots + \sum_{j=1}^{r}\dfrac{y_{j}}{n-j+1}
+(n-r)\sum_{j=1}^{r}\dfrac{y_{j}}{n-j+1} \right\} \right]\\
&= \theta^{-r} \exp \left[ -\dfrac{1}{\theta} \left\{ \dfrac{y_{1}}{n} (r+n-r) + \dfrac{y_{2}}{n-1}\cdot (r-1 +n-r) + \cdots + \dfrac{y_{r}}{n-r+1}(1+n-r) \right\} \right] \\
&= \theta^{-r} \exp \left[ -\dfrac{1}{\theta} \left( y_{1} + y_{2} + \cdots + y_{r} \right) \right] \\
&= \prod_{i=1}^{r} \theta^{-1} \exp \left[ -\dfrac{y_{i}}{\theta} \right]
\end{aligned}
よって Y_{i}(i=1,\ ...\ ,r) は互いに独立に Exp(\theta^{-1}) に従う。
Discussion