はじめに
今回は統計検定1級より 2013年 統計数理 問題2 の解答を記載します。
正規分布の条件付き確率に関する問題です。
変数変換により、条件付き確率の計算を簡略化するのがポイントです。
問題については著作物のため割愛します。
前置き
条件付き確率の計算の簡略化について説明します。
互いに独立でない確率変数 X,Y について、Y,g(X,Y) が独立であれば、Z=g(X,Y) として、( g は x について単調増加または単調減少)
\begin{aligned}
P(X=x,Y=y)
&=P(Z=g(x,y),Y=y)\left|\dfrac{\partial x}{\partial z \big(=g(x,y)\big)} \right|\\
&=P(Z=g(x,y))P(Y=y) \left|\dfrac{1}{\dfrac{\partial g(x,y)}{\partial x}} \right|
\end{aligned}
が成り立ちます。
これを利用して、X|Y=y について、X を Y とは独立な確率変数 Z=g(X,Y) に変換した場合、確率関数は
\begin{aligned}
P(X=x | Y=y)
&=\dfrac{P(X=x , Y=y)}{P(Y=y)} \\
&=\dfrac{P(Z=g(x,y) )P( Y=y)}{P(Y=y)} \left|\dfrac{1}{\dfrac{\partial g(x,y)}{\partial x}} \right|\\
&=P(Z=g(x,y) ) \left|\dfrac{1}{\dfrac{\partial g(x,y)}{\partial x}} \right|\\
\end{aligned}
となり、計算を簡略化できる場合があります。
[1]
正規分布においては無相関と独立は同値である。
よって、Cov\left[Y_{n},X_{i}-\dfrac{Y_{n}}{n}\right]=0 を示せばよい。(i=1,\ ...\ ,n)
まず、Y_{n} の期待値、分散については
\begin{aligned}
E[Y_{n}]
&=E[X_{1}+\cdots+X_{n}]=n\mu\\
V[Y_{n}]
&=V[X_{1}+\cdots+X_{n}]=n\sigma^{2}
\end{aligned}
となる。よって、Y_{n} と X_{i} - Y_{n}/n の共分散は
\begin{aligned}
Cov\left[Y_{n},X_{i}-\dfrac{Y_{n}}{n}\right]
&=Cov\left[X_{1}+\cdots+X_{n},X_{i}\right]
-\dfrac{1}{n}Cov\left[Y_{n},Y_{n} \right]\\
&=Cov\left[X_{i}\ ,X_{i}\right]
-\dfrac{1}{n}V\left[Y_{n}\right]\\
&=V\left[X_{i} \right]
-\dfrac{1}{n}V\left[Y_{n}\right]\\
&=\sigma^{2} -\dfrac{1}{n}\cdot n\sigma^{2}\\
&=0
\end{aligned}
以上より、Y_{n} と X_{1}-\dfrac{Y_{n}}{n} は独立である。
[2]
X_{1}|Y_{n}=y_{n} の分布について P(X_{1}=x_{1}|Y_{n}=y_{n}) を求めると、
P(X_{1}=x_{1}|Y_{n} = y_{n} )=\dfrac{P(X_{1}=x_{1},Y_{n}=y_{n})}{P(Y_{n}=y_{n})}
となるが、X_{1} と Y_{n} は独立ではないため計算が複雑になる。
そこで、W_{1} = X_{1}-\dfrac{Y_{n}}{n} とし、X_{1} を W_{1} に変換すると、[1]より W_{1},Y_{n} は独立であるため、計算を簡略化することができる。
X_{1}=x_{1}, Y_{n} = y_{n} のとき、 W_{1} = x_{1} - \dfrac{y_{n}}{n},\ \left| \dfrac{\partial}{\partial x_{1}} \left(x_{1}-\dfrac{y_{n}}{n} \right) \right|=1 となることから、
\begin{aligned}
P(X_{1}=x_{1}|Y_{n} = y_{n} )
&=\dfrac{P(X_{1}=x_{1},Y_{n}=y_{n})}{P(Y_{n}=y_{n})} \\
&=\dfrac{P \left(W_{1}=x_{1}-\dfrac{y_{n}}{n} , Y_{n}=y_{n} \right)}{P(Y_{n}=y_{n})} \\
&=\dfrac{P \left(W_{1}=x_{1}-\dfrac{y_{n}}{n}\right) P(Y_{n}=y_{n} )}{P(Y_{n}=y_{n})} \\
&=P \left(W_{1}=x_{1}-\dfrac{y_{n}}{n}\right)
\end{aligned}
W_{1} の分布は
\begin{aligned}
E[W_{1}]
&=E[X_{1}]-\dfrac{1}{n}E[Y_{n}] \\
&=\sigma- \dfrac{1}{n} n\sigma \\
&= 0
\end{aligned}
\begin{aligned}
V[W_{1}]
&=V\left[X_{1}-\dfrac{Y_{n}}{n} \right] \\
&=V\left[\dfrac{n-1}{n} X_{1} -\dfrac{1}{n}(X_{2}+\cdots+X_{n}) \right] \\
&=\dfrac{1}{n^{2}}\left\{ (n-1)^2 + (n-1) \right\}\sigma^{2} \\
&=\dfrac{n-1}{n}\sigma^{2} \\
\end{aligned}
よって、W_{1} \sim N \left( 0,\dfrac{n-1}{n}\sigma^{2} \right)
ゆえに、X_{1} |Y_{n}=y_{n} の確率関数は、
\begin{aligned}
P(X_{1}=x_{1}|Y_{n} = y_{n} )
&=P \left(W_{1}=x_{1} -\dfrac{y_{n}}{n}\right) \\
&=\left. \dfrac{1}{\sqrt{2\pi\dfrac{n-1}{n}\sigma^{2}}}
\exp\left\{ -\dfrac{w_{1}^{2}}{2\dfrac{n-1}{n}\sigma^{2}} \right\} \right|_{w_{1}=x_{1}-y_{n}/n} \\
&=\dfrac{1}{\sqrt{2\pi\dfrac{n-1}{n}\sigma^{2}}}
\exp\left\{ -\dfrac{\left(x_{1}-\dfrac{y_{n}}{n} \right)^{2}}{2\dfrac{n-1}{n}\sigma^{2}} \right\}
\end{aligned}
となる。以上より、
X_{1}|Y_{n} = y_{n} \sim N\left(\dfrac{y_{n}}{n}, \dfrac{n-1}{n}\sigma^{2} \right)
[3]
[2]と同様に、Y_{k-1}を Y_k に独立な確率変数に変換することで、計算を簡略化する。
今回の場合は [1]より Y_{k} と X_{i}-\dfrac{Y_{k}}{k} (i=1,\dots, k) が独立であることから、Y_{k-1} を W_{k}=X_{k} - \dfrac{Y_{k}}{k} に変換する。
W_{k}=X_{k} - \dfrac{Y_{k}}{k}=Y_{k}-Y_{k-1}-\dfrac{Y_{k}}{k}=\dfrac{k-1}{k}Y_{k}-Y_{k-1} と変形すると、
Y_{k-1}=y_{k-1},Y_{k}=y_{k} のとき、W_{k}=\dfrac{k-1}{k}y_{k}-y_{k-1}, \left| \dfrac{\partial}{\partial y_{k-1}} \left(\dfrac{k-1}{k}y_{k}-y_{k-1} \right) \right|=1 である。
ゆえに、Y_{k-1}|Y_{k}=y_{k} の確率関数は
\begin{aligned}
P(Y_{k-1}=y_{k-1}|Y_{k}=y_{k})
&=\dfrac{P(Y_{k-1}=y_{k-1},Y_{k}=y_{k})}{P(Y_{k}=y_{k})}\\
&=\dfrac{P\left(W_{k}=\dfrac{k-1}{k}y_{k}-y_{k-1},Y_{k}=y_{k} \right)}
{P(Y_{k}=y_{k})}\\
&=\dfrac{P\left(W_{k}=\dfrac{k-1}{k}y_{k}-y_{k-1}\right) P(Y_{k}=y_{k} )}
{P(Y_{k}=y_{k})}\\
&=P\left(W_{k}=\dfrac{k-1}{k}y_{k}-y_{k-1}\right) \\
\end{aligned}
[3] の W_{1} と同様にして W_{k} \sim N\left(0,\dfrac{k-1}{k}\sigma^{2} \right) である。
よって、
Y_{k-1}|Y_{k}=y_{k}\ \sim N\left( \dfrac{k-1}{k}y_{k}, \dfrac{k-1}{k}\sigma^{2} \right)
[4]
今回は Y_{k-1} を残し、Y_{k} を X_{k}=Y_{k}-Y_{k-1} に変換する。また、\left| \dfrac{\partial}{\partial y_{k}} \left(y_{k}-y_{k-1} \right) \right|=1 である。
f_{k-1}(y_{k-1}|y_{k}) については、
\begin{aligned}
f_{k-1}(y_{k-1}|y_{k})
&=\dfrac{P(Y_{k-1}=y_{k-1},Y_{k}=y_{k})}{P(Y_{k}=y_{k})}\\
&=\dfrac{P(Y_{k-1}=y_{k-1},X_{k}=y_{k}-y_{k-1})}{P(Y_{k}=y_{k})}\\
&=\dfrac{P(Y_{k-1}=y_{k-1})P(X_{k}=y_{k}-y_{k-1})}{P(Y_{k}=y_{k})}\\
\end{aligned}
となる。また、g_{n}(y_{n}) については以下のように表せる。
g_{n}(y_{n})=P(Y_{n}=y_{n})
ゆえに、
\begin{aligned}
\Bigg\{ \prod_{k=2}^{n} & f_{k-1}(y_{k-1}|y_{k}) \Bigg\} g_{n}(y_{n})\\
&=\dfrac{P(Y_{1}=y_{1})P(X_{2}=y_{2}-y_{1})}{P(Y_{2}=y_{2})}
\dfrac{P(Y_{2}=y_{2})P(X_{3}=y_{3}-y_{2})}{P(Y_{3}=y_{3})} \cdots
\dfrac{P(Y_{n-1}=y_{n-1})P(X_{n}=y_{n}-y_{n-1})}{P(Y_{n}=y_{n})}
P(Y_{n}=y_{n}) \\
&= P(Y_{1}=y_{1}) \left\{ \prod_{k=2}^{n} P(X_{k}=y_{k}-y_{k-1}) \right\}
\end{aligned}
ここで、Y_{1}=X_{1},y_{1}=x_{1},y_{k}-y_{k-1}=x_{k}(k=2,\ \dots\ ,n) と置き換えれば、
\begin{aligned}
\Bigg\{ \prod_{k=2}^{n} & f_{k-1}(y_{k-1}|y_{k}) \Bigg\} g_{n}(y_{n}) = \left\{ \prod_{k=1}^{n} P(X_{k}=x_{k}) \right\}
\end{aligned}
となる。以上より、\left\{ \prod_{k=2}^{n} f_{k-1}(y_{k-1}|y_{k}) \right\} g_{n}(y_{n}) は X_{1},\ \dots,\ X_{n} の同時分布の確率密度関数となる。
Discussion