現代数理統計学の基礎　確認テスト発展編　解説

0. 背景

統計検定 1 級の勉強の対策の一環として、現代数理統計学の基礎という参考書を勉強していた。この参考書には著者のサポートサイトが存在し、章末問題の解答や補足・訂正がある。また、著者は大学で統計学の基礎の講義をしており、その際のテスト問題 (基礎編・発展編) も掲載されている。このテスト問題にも著者の解答がついているものの、解法に至る思考プロセスや解法の難しさの観点でやや難解なものがいくつか存在すると自分は考えている。本書は統計検定 1 級の参考書として有名であり、著者以外にも解説を Blog にまとめている方は何人かいるものの、発展編の解説記事を執筆している方は (自分の見た限りでは) あまりいなかった。そこで本記事は、発展編のテストの解説記事を読者の理解を助けるためと自らの統計学の基礎的な部分に対する理解を深めるために記しておく。誤り等がいくつかあるかもしれないので、都度指摘していただけると幸いだ。

1. 解答

問 1

解答のポイント

$(1)$ 確率密度関数の定義を用いて、正規化定数を導出。
$(2), (3)$ 変数変換は元の変数の確率密度関数を利用できる形に分布関数を用いて式変形。この際に、元の変数と変換後の変数の定義域に注意。

$(1)$ 連続型確率関数の定義から、定義される全区間の確率関数の積分が 1 となれば良く、

$$\begin{align} \int_{-\infty}^{\infty} f_X(x) dx &= \int_{-1}^{1} C(1-|x|) dx \notag\\ &= 2C \int_{0}^{1} (1-x) dx\hspace{3mm}(\because 被積分関数は偶関数) \notag \\ &= 2C \left[ x - \dfrac{1}{2}x^2\right] \notag \\ &= C = 1, \end{align}$$

以上より $C = 1$ 。

$(2)$ 連続型確率変数の変数変換は分布関数の変換を行った後、該当の変数で微分すれば良い。また、$Y$の範囲は $Y = |X|$であることより、$Y \geq 0$ 。このことに注意した上で $Y$ の確率密度関数 $f_Y(y)$、分布関数 $F_Y(y)$ として、

$(a)\hspace{1mm} 0 \leq y < 1$ のとき

$$\begin{align} F_Y(y) &= P(Y \leq y) \notag \\ &= P(|X| \leq y) \notag \\ &= P(-y \leq X \leq y) \notag \\ &= \int_{-y}^{y} f_X(x) dx \notag \\ &= 2 \int_0^y f_X(x) dx \end{align}$$

$$\begin{align} \therefore f_Y(y) &= \dfrac{d}{dy}F_Y(y) \notag \\ &= 2f_X(y) \notag \\ &= 2(1-y). \end{align}$$

$(b)\hspace{1mm} y \geq 1$ のとき $f_Y(y) = 0.$

以上より、$Y$の確率密度関数は

$$\begin{equation} \left\{ \begin{aligned} &2(1-y) \hspace{3mm}&(0 \leq y<1) \\ &0 \hspace{3mm}&(y \geq 1) \notag \end{aligned} \right. \end{equation}$$

$(3)\hspace{1mm}(2)$ と同様に考えると、$Z=X^2$ より $Z \geq 0$ であることに注意し $Z$ の確率密度関数 $f_Z(z)$、分布関数 $F_Z(z)$ として、

$(a)\hspace{1mm} 0 \leq z < 1$ のとき

$$\begin{align} F_Z(z) &= P(Z \leq z) \notag \\ &= P(X^2 \leq z) \notag \\ &= P(-\sqrt{z} \leq X \leq \sqrt{z}) \notag \\ &= \int_{-\sqrt{z}}^{\sqrt{z}}f_X(x) dx \notag \\ &= 2\int_{0}^{\sqrt{z}} f_X(x) dx, \end{align}$$

$$\begin{align} f_Z(z) &= \dfrac{d}{dz} F_Z(z) \notag \\ &= 2\cdot\left(\dfrac{1}{2\sqrt{z}}\right)f_X(\sqrt{z}) \notag \\ &= \dfrac{1}{\sqrt{z}}(1-\sqrt{z}). \end{align}$$

$(b)\hspace{1mm} z \geq 1$ のとき $f_Z(z) = 0$ .

以上より、$Z$の確率密度関数は

$$\begin{equation} \left\{ \begin{aligned} &\dfrac{1}{\sqrt{z}}(1-\sqrt{z}) \hspace{3mm}&(0 \leq z<1) \\ &0 \hspace{3mm}&(z \geq 1) \notag \end{aligned} \right. \end{equation}$$

問 2

解答のポイント
$(1)$ $X$ 単体が従う分布がわからないので、条件付き分布の期待値・分散の公式を用いる。 $E[(X-\mu)^4]$ に関しても同様に条件付き分布で考える。ここで、正規分布の性質を用いて、$X-\mu \sim N(0,y)$ に従う。
$(2)$ $(1)$ の途中で考えた $Z = X-\mu | Y=y \sim N(0, y)$ の積率母関数を考えれば良い。正規分布の積率母関数の計算は頻出問題。
$(3)$ $Z$ そのものの分布を直接求めるのは困難である。ここで母関数の性質を思い出すと、$(2)$ で求めた積率母関数の収束値を考え、有名分布の積率母関数に収束することを示せば良いことに気づく。
$(4)$ 共分散の公式を用いて計算すればよい。これまでと同様に条件付き分布の期待値を用いる変形と期待値計算における変数と定数とみなす部分を分けて考えられるかどうか。

$(1)$ 条件付き確率関数の期待値・分散の公式を用いると、

期待値は

$$\begin{align} E[X] &= E^Y[E^X[X|Y=y]] \notag \\ &= E^Y[\mu] \hspace{3mm} (\because X|Y=y \sim N(\mu, y))\notag \\ &=\mu, \\ \end{align}$$

分散は

$$\begin{align} {\rm{Var}}(X) &= {\rm{Var}}^Y(E^X[X|Y=y]) + E^Y({\rm{Var}}^X[X|Y=y]) \notag \\ &= {\rm{Var}}^Y(\mu) + E^Y(y) \notag \\ &= \int_{-\infty}^{\infty} f_Y(y) dy \notag \\ &= \int_0^{\infty} \dfrac{1}{\Gamma(\alpha)}\left(\dfrac{1}{\beta}\right)^{\alpha}x^{\alpha-1}e^{-x/\beta}dx \notag \\ &= \dfrac{1}{\Gamma(\alpha)} \int_0^\infty \beta s^{\alpha-1}e^{-s} ds \hspace{3mm}(s=x/\beta) \notag \\ &= \dfrac{\beta \Gamma(\alpha + 1)}{\Gamma(\alpha)} \notag \\ &= \alpha\beta, \end{align}$$

なお、上記の式では、ガンマ分布の確率密度関数を

$$\begin{equation} f_Z(z) = \left\{ \begin{aligned} &\dfrac{1}{\Gamma(\alpha)}(\dfrac{1}{\beta})^\alpha z^{\alpha-1}e^{-z/\beta} &(z \geq0) \\ &0 &(z < 0) \end{aligned} \right. \end{equation}$$

と定義している。なお、ガンマ関数は

$$\begin{align} \Gamma(\alpha) = \int_{0}^{\infty} t^{\alpha-1}e^{-t}dt. \end{align}$$

さらに、$E[(X- \mu)^4]$ も同様に条件付き期待値を考えて

$$\begin{align} E[(X-\mu)^4] &= E^Y[E^X[(X-\mu)^4|Y=y]] \end{align}$$

ここで、$Z = X-\mu$ とすると、$Z|Y=y \sim N(0, y)$ だから、

$$\begin{align} E[Z^4|Y=y] &= \int_{-\infty}^{\infty} z^4 \cdot \dfrac{1}{\sqrt{2\pi y}} \exp\left(-\dfrac{1}{2y}z^2\right) dz \notag \\ &= \left[-\dfrac{y}{\sqrt{2\pi y}}z^3 \exp\left(-\dfrac{1}{2y}z^2\right)\right]_{-\infty}^{\infty} + 3 \int_{-\infty}^{\infty}\dfrac{z^2}{\sqrt{2\pi y}} \exp\left(-\dfrac{1}{2y}z^2\right) dz \notag \\ &= 3\left\{ \left[-\dfrac{y^2}{\sqrt{2\pi y}}\exp\left(-\dfrac{1}{2y}z^2\right)\right]_{-\infty}^{\infty} + \int_{-\infty}^{\infty} \dfrac{y^2}{\sqrt{2\pi y}}\exp\left(-\dfrac{1}{2y}z^2\right) dz \right\} \notag \\ &= 3y^2 \\ &\left(\because \int_{-\infty}^{\infty} \dfrac{1}{\sqrt{2\pi y}}\exp\left(-\dfrac{1}{2y}z^2\right) = 1.\right) \notag \end{align}$$

よって、

$$\begin{align} E^Y[3Y^2] &= \int_0^{\infty} 3y^2\cdot \dfrac{1}{\Gamma(\alpha)}\left(\dfrac{1}{\beta}\right)^{\alpha}y^{\alpha-1}e^{-y/\beta}dy \notag \\ &= \dfrac{3}{\Gamma(\alpha)}\int_{0}^{\infty}\left(\dfrac{1}{\beta}\right)^{\alpha}y^{\alpha+1}e^{-y/\beta}dy \notag \\ &= \dfrac{3}{\Gamma(\alpha)}\int_0^{\infty}\beta^2 s^{\alpha + 1}e^{-s} ds\hspace{3mm}(s= y/\beta) \notag \\ &= \dfrac{3\beta^2\Gamma(\alpha+2)}{\Gamma(\alpha)} \notag \\ &= 3\beta^2(\alpha + 1)\alpha. \end{align}$$

$(2)$ $Z = X- \mu$ とおくとき、$(1)$ から $Z|Y=y \sim N(0, y)$ だから、

$$\begin{align} M_Z(t) &= E[e^{tZ}] \notag \\ &= E^Y[E^Z[e^{tZ}|Y=y]], \\ \end{align}$$

$$\begin{align} E^Z[e^{tZ}|Y=y] &= \int_0^{\infty} \exp{(tz)} \cdot \dfrac{1}{\sqrt{2\pi y}} \exp\left(-\dfrac{1}{2y}z^2\right) dz \notag \\ &= \int_0^\infty \dfrac{1}{\sqrt{2\pi y}} \exp{\left\{ -\dfrac{1}{2y}\left( z-ty \right)^2 + \dfrac{t^2y}{2} \right\}}\hspace{1mm}dz \notag \\ &= \exp{\left(\dfrac{t^2y}{2}\right)}, \end{align}$$

$$\begin{align} \ \therefore M_Z(t) &= E^Y\left[e^{t^2Y/2}\right] \notag \\ &= \int_0^\infty e^{t^2y/2}\cdot \dfrac{1}{\Gamma(\alpha)}\left(\dfrac{1}{\beta}\right)^{\alpha}y^{\alpha-1}e^{-y/\beta}dy \notag \\ &= \int_0^\infty \dfrac{1}{\Gamma(\alpha)}\cdot y^{\alpha-1}\left(\dfrac{1}{\beta}\right)^\alpha \exp{\left\{-\left( \dfrac{1}{\beta} - \dfrac {t^2}{2} \right)y \right\}}dy \notag \\ &= \left(\dfrac{1}{\beta}\right)^\alpha \left\{\left( \dfrac{1}{\beta} - \dfrac {t^2}{2} \right) \right\}^{-\alpha} \notag \\ &= \left(1 - \dfrac{\beta t^2}{2}\right)^{-\alpha}. \end{align}$$

$(3)$ $(2)$ の積率母関数の収束値を考えれば良い。$\beta = 1/\alpha$ であるので、

$$\begin{align} \lim_{\alpha \to \infty} \left(1 - \dfrac{\beta t^2}{2}\right)^{-\alpha} &= \lim_{\alpha \to \infty} \left( 1 - \dfrac{t^2}{2\alpha} \right)^{-\alpha} \notag \\ &= \lim_{\alpha \to \infty} \left\{ \left(1 - \dfrac{t^2}{2\alpha}\right)^{-\frac{2\alpha}{t^2}} \right\}^{\frac{t^2}{2}} \notag \\ &= \exp{\left(\dfrac{t^2}{2}\right)}\hspace{3mm}\left( \because \lim_{n \to \infty} \left(1+\dfrac{1}{n}\right)^{n} = e\right) \end{align}$$

これは標準正規分布の積率母関数だから、連続性定理から $Z$ は標準正規分布に従う。

$(4)$ $W = (X-\mu)^2 / Y$ とおくとき、

$$\begin{align} {\rm{Cov}}(W,Y) &= E\left[\dfrac{(X-\mu)^2}{Y}\cdot Y\right] - E\left[\dfrac{(X-\mu)^2}{Y}\right]E[Y] \notag \\ &= {\rm{Var}}(X) - E^Y\left[ E^X\left[ \dfrac{(X-\mu)^2}{Y}\left| Y=y\right. \right] \right]E[Y] \notag \\ &= \alpha\beta - E^Y\left[ \dfrac{Y}{Y} \right] E[Y] \hspace{3mm}(\because V^X[X|Y=y]=y)\notag \\ &= \alpha\beta - \alpha\beta \notag \\ &= 0. \hspace{3mm}(\because E[Y] = \alpha\beta) \end{align}$$

問 3

解答のポイント
$(1)$ 極座標変換を行う際には、ヤコビアンを用いて変換を行う。
$(2)$ $(1)$ と同様の変換を行うが、元の変数の領域に注意する必要がある。
$(3)$ $(1)$ で使った極座標変換の形をヒントとして、極座標変換を使える形に変形する。また、確率密度関数の存在条件に注意して $\rho$ の範囲を評価。ここでそのままの形では評価できないので、問題条件の単調減少関数を利用して簡単な関数の形に変形する。

$(1)$ $(X, Y) = (R\cos \theta, R\sin\theta)$ なる極座標変換を行った時、変数変換のヤコビアンは

$$\begin{align} \dfrac{\partial (X, Y)}{\partial (R, \theta)} &= \det \begin{pmatrix} \cos\theta &-R\sin\theta \\ \sin\theta &R\cos\theta \end{pmatrix} = R, \end{align}$$

だから、$(R, \theta)$ に関する確率密度関数は

$$\begin{align} f_{R,\theta}(R, \theta) &= f_{X, Y} (X, Y) R \notag \\ &= f_{X, Y} (R\cos\theta, R\sin\theta) \notag \\ &= C \cdot h(R^2), \end{align}$$

となる。また、正規化定数 $C$ は $f_{R,\theta}(R, \theta)$ が確率密度関数であることから

$$\begin{align} \int_{0}^{2\pi}\int_{0}^{\infty} f_{R, \theta} (R, \theta) dR \hspace{1mm}d\theta &= C \int_0^{2\pi}d\theta \int_0^{\infty} R\cdot h(R^2) dR \notag \\ &=C \cdot \pi \int_0^{\infty} h(s) ds \hspace{3mm}(s=R^2, ds = 2RdR) \notag \\ &= 1, \\ \therefore C &= \dfrac{1}{\pi} \end{align}$$

また、変数変換を利用すれば

$$\begin{align} E\left[\dfrac{X^2}{X^2+Y^2}\right] &= E\left[\dfrac{R^2\cos^2\theta}{R^2}\right] = E[\cos^2 \theta]. \end{align}$$

ここで、$\theta$ は式 $(20)$ の途中式から一様分布 $f_\theta(\theta) = \dfrac{1}{2\pi}$ に従うので、

$$\begin{align} E[\cos^2 \theta] &= \dfrac{1}{2\pi}\int_0^{2\pi} \cos^2 \theta d\theta \notag \\ &= \dfrac{1}{2\pi}\int_0^{2\pi} \dfrac{1+\cos2\theta}{2} d\theta \notag \\ &= \dfrac{1}{4\pi}\left[ \theta + \dfrac{1}{2}\sin 2\theta \right]_{0}^{2\pi} \notag \\ &= \dfrac{1}{2}. \end{align}$$

$(2)$ $(1)$ と同様に変数変換を行えば良い。ただし、$A = \{(x, y) | 0 < x < \infty, 0 < y < \infty \}$ であることより、極座標変換後の定義域は $0 < R < \infty, 0 < \theta < \pi/2$ となる。このことに注意して正規化定数 $C$ を求めると、

$$\begin{align} \int_0^{\infty} dR\int_0^{\frac{\pi}{2}} d\theta \hspace{1mm} C\cdot Rh(R^2) &= \dfrac{\pi}{4}\cdot C = 1, \\ \therefore C &= \dfrac{4}{\pi}. \end{align}$$

$(3)$ $\rho$ の条件は $f_{R, \theta} (R, \theta)$ が確率密度関数になる必要があるので収束する必要がある。ここで $\rho^2 \geq 1$ であるときに $h(\cdot)$ が単調減少関数であることから

$$\begin{align} &\int_{-\infty}^{\infty}\int_{- \infty}^{\infty} C\cdot h((x+\rho y)^2 + (1-\rho^2)y^2) dxdy \notag \\ &\geq \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} C\cdot h((x+\rho y)^2) dxdy \notag \\ &= \int_{-\infty}^{\infty} C\cdot h(s^2) ds \int_{-\infty}^{\infty}dy \end{align}$$

と不等式で評価でき、右辺は発散することから存在しない。ゆえに $|\rho| < 1$ 。

また、$x^2 + 2\rho xy + y^2 = (x+\rho y)^2 + (1 - \rho^2)y^2$ と平方完成できることから、

$$\begin{equation} \left\{ \begin{aligned} X+ \rho Y & = R\cos \theta \\ \sqrt{1-\rho^2}Y &= R \sin \theta \end{aligned} \right. \end{equation}$$

という変数変換を考えると、ヤコビアンは

$$\begin{align} \dfrac{\partial (X, Y)}{\partial (R, \theta )} &= \begin{pmatrix} \cos \theta-(\rho/\sqrt{1-\rho^2})\sin \theta &-R(\sin\theta + \rho/\sqrt{1-\rho^2}\cos\theta) \\ (1/\sqrt{1-\rho^2})\sin \theta-(\rho/\sqrt{1-\rho^2})\sin \theta &R/\sqrt{1-\rho^2}\cos\theta \end{pmatrix} \notag \\ &= (R/\sqrt{1-\rho^2})\cos^2 \theta - R\rho/(1-\rho^2)\cdot \sin\theta\cos\theta \notag \\ &+ (R/\sqrt{1-\rho^2})\sin^2 \theta + R\rho/(1-\rho^2)\cdot \sin\theta\cos\theta \notag \\ &= R/\sqrt{1-\rho^2}, \end{align}$$

だから、$f_{R, \theta}(R, \theta) = C\cdot R/\sqrt{1-\rho^2} h(R^2)$ となる。また、正規化定数 $C$ の値は $(1)$ と同様に考えて、

$$\begin{align} \int_0^{\infty} dR \int_0^{2\pi} d\theta\hspace{1mm} C\cdot R/\sqrt{1-\rho^2} h(R^2) &= C\cdot \dfrac{2\pi}{\sqrt{1-\rho^2}}\cdot \dfrac{1}{2} \notag \\ &= \dfrac{C\pi}{\sqrt{1-\rho^2}} = 1,\\ \therefore C &= \dfrac{\sqrt{1-\rho^2}}{\pi} \end{align}$$

問 4

解答のポイント
直接求めるのが困難な分布は、母関数を計算する。複雑な指数関数は Taylor 展開を用いて近似計算する。

求める分布の積率母関数を考える。積率母関数を $M(t)$ として

$$\begin{align} M(t) &= E[e^{n^{3/4}(\bar{X}-p)t}] \end{align}$$

ここで、$\displaystyle S = \sum_{i=1}^{n} X_i$ とおくと $\bar{X} = S/n$ であることより、

$$\begin{align} M(t) &= E[e^{(t/n^{1/4}S)}\cdot e^{-4n^{1/4}t}] \hspace{3mm}(\because p= 4/ \sqrt{n}) \notag \\ &= e^{-4n^{1/4}t}\cdot E[e^{(t/n^{1/4}S)}]. \end{align}$$

また、$X_1, \cdots X_n, {\rm{i.i.d}} \sim Ber(p)$ だから、

$$\begin{align} E[e^{(t/n^{1/4}S)}] &= \left\{ \sum_{x=0}^{1}e^{t/n^{1/4}x}\cdot p^x(1-p)^{1-x} \right\}^{n} \notag \\ &= \left\{ e^{(t/n^{1/4})}\cdot(4/\sqrt{n})+(1-4/{\sqrt{n}}) \right\}^n, \end{align}$$

と書ける。ここで、上式で指数関数の Taylor 展開より、

$$\begin{align} e^{t/n^{1/4}} &= 1 + \dfrac{t}{n^{1/4}} + \dfrac{1}{2}\left( \dfrac{t}{n^{1/4}} \right)^2 + o(n^{-1}) \end{align}$$

と近似できるから、

$$\begin{align} E[e^{t/n^{1/4}S}] &= \left\{ \dfrac{4}{\sqrt{n}} + \dfrac{4t}{n^{3/4}} + \dfrac{2t^2}{n} + 0(n^{-1}) + 1 - \dfrac{4}{\sqrt{n}} \right\}^n \notag \\ &= \left( 1+\dfrac{4t}{n^{3/4}} + \dfrac{2t^2}{n} + o(n^{-1}) \right)^n, \end{align}$$

さらに、$M(t)$ に対して自然対数を底とする対数を取ると、

$$\begin{align} \log M(t) &= -4n^{1/4}t + n\log\left\{ 1+\dfrac{4t}{n^{3/4}} + \dfrac{2t^2}{n} + o(n^{-1}) \right\} \notag \\ &\simeq -4n^{1/4}t + n \left( \dfrac{4t}{n^{3/4}} + \dfrac{2t^2}{n} + o(n^{-1}) \right)\hspace{3mm}(\because \log(1+x) \simeq x) \notag \\ &= 2t^2 + o(1), \end{align}$$

と近似できる。したがって、$M(t) \to e^{2t^2} = e^{(2)^2t^2/2}$ なので、$N(0,4)$ の積率母関数に一致する。ゆえに、

$$\begin{align} n^{3/4}(\bar{X}-p) \to {}_dN(0,4). \end{align}$$

問 5

解答のポイント
$\sqrt{n}(V_X^2 - \sigma^2)$ の導出: 中心極限定理の基本公式 $\sqrt{n}(\bar{X}- \mu) \to {}_d N(0, \sigma^2)$ を用いることができる形に変形できるか。また、変形後にスラツキーの定理を用いて分布収束 → 確率収束を示せるか。
$\sqrt{n}(F-1)$ の導出: そのままの形で解くのは困難なので、これまでで求めた式を利用できないかを考える。すると、$V_X^2,\hspace{1mm}V_Y^2$ を分解して変形する方針が立つ。逆数となっている箇所はデルタ法を用いて分布収束を示せることに気づく。

$$\begin{align} V_X^2 &= \dfrac{1}{n-1}\sum_{i=1}^n(X_i - \bar{X})^2 \notag \\ &= \dfrac{1}{n-1}\sum_{i=1}^n \{(X_i - \mu) - (\bar{X}-\mu)\}^2 \notag \\ &=\dfrac{1}{n-1}\sum_{i=1}^{n}\{ (X_i-\mu)^2 - 2(\bar{X}-\mu)(X_i-\mu) + (\bar{X}-\mu)^2 \} \notag \\ &= \dfrac{1}{n-1}\left\{ \sum_{i=1}^n (X_i - \mu)^2 - 2(\bar{X}-\mu)\sum_{i=1}^{n} (X_i - \mu) + n(\bar{X}-\mu)^2 \right\} \notag \\ &= \dfrac{1}{n-1}\left\{ \sum_{i=1}^n(X_i - \mu)^2 - n(\bar{X}-\mu)^2\right\}, \end{align}$$

と変形でき、$\sqrt{n}(\bar{X}-\mu) \to {}_dN(0, \sigma^2)$ であることから与式を変形して

$$\begin{align} \sqrt{n}(V_X^2 - \sigma^2) &= \dfrac{n}{n-1}\cdot \sqrt{n}\cdot \left\{ \dfrac{1}{n}\sum_{i=1}^n (X_i - \mu)^2 - \sigma^2 \right\} \notag \\ &- \dfrac{n}{n-1}\cdot \sqrt{n}\cdot (\bar{X}-\mu)^2 + \dfrac{\sqrt{n}}{n-1}\sigma^2 \end{align}$$

と表せる。ここで、$\bar{X} - \mu \to {}_p0$ だからスラツキーの定理より、$\sqrt{n}(\bar{X}-\mu)^2 \to {}_d 0$ となる。また、これは $\sqrt{n}(\bar{X}-\mu) \to {}_p 0$ でもある。

また、$(X_i - \mu)^2$ は期待値 $E[(X_i-\mu)^2] = \sigma^2$、 分散 ${\rm{Var}}((X_i-\mu)^2) = E[(X_i - \mu)^4] - E[(X_i - \mu)^2]^2$ であり、

$$\begin{align} E[(X_i-\mu)^4] &= \int_{-\infty}^{\infty}(x-\mu)^4\cdot \dfrac{1}{\sqrt{2\pi\sigma^2}}\exp{\left\{ -\dfrac{1}{2\sigma^2}(x-\mu)^2 \right\}} dx \notag \\ &= \int_{-\infty}^{\infty} s^4\cdot \dfrac{1}{\sqrt{2\pi\sigma^2}}\exp{\left\{ -\dfrac{1}{2\sigma^2}s^2 \right\}} ds\hspace{3mm}(s=x-\mu) \notag \\ &= \left[ -\sigma^2 \cdot \dfrac{1}{\sqrt{2\pi\sigma^2}}\cdot s^3 \exp{\left\{ -\dfrac{1}{2\sigma^2}s^2 \right\}} \right]_{-\infty}^{\infty} \notag \\ &+ 3\sigma^2 \int_{-\infty}^{\infty} s^2\cdot \dfrac{1}{\sqrt{2\pi\sigma^2}}\exp{\left\{ -\dfrac{1}{2\sigma^2}s^2 \right\}} ds \notag \\ &= 3\sigma^4 \end{align}$$

より、${\rm{Var}}((X_i-\mu)^2) = 3\sigma^4 - \sigma^4 = 2\sigma^4$ 。ゆえに中心極限定理より

$$\begin{align} \sqrt{n}\left\{ \dfrac{1}{n}\cdot \sum_{i=1}^n (X_i - \mu)^2 - \sigma^2 \right\} \to {}_d N(0, 2\sigma^2), \end{align}$$

となるので、スラツキーの定理より $\sqrt{n}(V_X^2 - \sigma^2) \to {}_dN(0, 2\sigma^2)$ 。

次に $\sqrt{n}(F-1)$ を考える。ここで先ほど求めた式 $\sqrt{n}(V_X^2 - \sigma^2)$ が使える形に与式を変形するために、$V_X^2, \hspace{1mm}V_Y^2$ を因数分解すると、

$$\begin{align} \sqrt{n}(F-1) &= \sqrt{n}\left( \dfrac{V_X^2}{V_Y^2}-1 \right) \notag \\ &= \sqrt{n}\left( (V_X^2 - \sigma^2)\left(\dfrac{1}{V_Y^2} - \dfrac{1}{\sigma^2}\right) + \dfrac{V_X^2}{\sigma^2} + \dfrac{\sigma^2}{V_Y^2} - 2\sqrt{n} \right) \notag \\ &= \sqrt{n}(V_X^2 - \sigma^2)\left(\dfrac{1}{V_Y^2}-\dfrac{1}{\sigma^2}\right) + \sqrt{n}\left(\dfrac{V_X^2}{\sigma^2} - 1\right) + \sqrt{n}\left(\dfrac{\sigma^2}{V_Y^2} - 1\right), \end{align}$$

と分解できる。$\sqrt{n}(V_X^2 - \sigma^2) \to {}_d N(0, 2\sigma^4),\hspace{1mm}
\sqrt{n}(V_Y^2 - \sigma^2) \to {}_d N(0, 2\sigma^4)$ であり、$V_Y^2 \to {}_p \sigma^2$ であることを用いて、スラツキーの定理より、

$$\begin{align} \sqrt{n}(V_X^2 - \sigma^2)\left( \dfrac{1}{V_Y^2} - \dfrac{1}{\sigma^2} \right) \to {}_d 0, \end{align}$$

であり、これは $0$ に確率収束する。また、デルタ法を用いて $g(\sigma^2)=1/\sigma^2$ に対して $g'(\sigma^2) = -1/\sigma^4$ だから

$$\begin{align} \sqrt{n}\left( \dfrac{1}{V_Y^2} - \dfrac{1}{\sigma^2} \right) \to {}_d N(0, 2/\sigma^4), \end{align}$$

となる。したがって、

$$\begin{align} \sqrt{n}\left( \dfrac{\sigma^2}{V_Y^2}- 1 \right) &= \sigma^2\cdot\sqrt{n}\left( \dfrac{1}{V_Y^2}- \dfrac{1}{\sigma^2} \right) \to {}_d N(0, 2). \end{align}$$

同様に

$$\begin{align} \sqrt{n}\left(\dfrac{V_X^2}{\sigma^2} - 1\right) \to {}_d N(0,2), \end{align}$$

であるから、$\sqrt{n}(F-1) \to {}_d N(0,4)$ 。

問 6

解答のポイント
$(a)$ フィッシャー情報量の導出。漸近分散はクラメール・ラオの不等式から求められる。
$(b)$ $(a)$ の変数を変換して立式し直す。
$(c)$ 対数尤度関数の微分から最尤推定量を求める。
$(d)$ デルタ法を用いて関数 $g(\theta)$ を求める。原始関数の導出は微分形式の形が出てくるようにうまく変形する。

$(a)$ $p$ に対する尤度関数 $L(p)$ は

$$\begin{align} L(p) &= \prod_{i=1}^{n}p(1-p)^{x_i} \end{align}$$

だから、フィッシャー情報量 $I(p)$ は

$$\begin{align} I(p) &= -E\left[ \dfrac{d^2}{dp^2} \log L(p) \right] \notag \\ &= - \sum_{i=1}^{n} E\left[ \dfrac{d^2}{dp^2}\left\{ \log p + X_i \log(1-p) \right\} \right] \notag \\ &= -\sum_{i=1}^{n} \left\{ -\dfrac{1}{p^2}-\dfrac{1}{(1-p)^2}E[X_i] \right\}. \end{align}$$

ここで、

$$\begin{align} E[X_i] &= \sum_{i=1}^{\infty} x\cdot p(1-p)^x, \\ \dfrac{1}{1-s} &= 1+s+s^2+\cdots \\&= \sum_{k=0}^{\infty}s^k, \\ \therefore \sum_{i=1}^{\infty} (1-p)^x &= \dfrac{1}{p}, \hspace{3mm}(\because k \to x,\hspace{1mm}s \to 1-p)\\ \end{align}$$

両編を $p$ について微分して

$$\begin{align} \sum_{i=1}^{\infty}x(1-p)^{x-1} &= \dfrac{1}{p^2}, \\ \therefore E[X_i] &= \dfrac{1-p}{p} \end{align}$$

以上より、

$$\begin{align} I(p) &= -\sum_{i=1}^{n} \left\{ -\dfrac{1}{p^2} - \dfrac{1}{p(1-p)} \right\} \notag \\ &= \dfrac{n}{p^2(1-p)} \end{align}$$

また、 $p$ に対する最尤推定量 $\hat{p}$ は$\log L(p)$ の微分が $0$ になるときを考えれば良いので、

$$\begin{align} \dfrac{d}{dp}\log L(p) &= \sum_{i=1}^{n} \left( \dfrac{1}{p} - \dfrac{X_i}{1-p} \right) = 0, \\ \dfrac{n}{\hat{p}} - \dfrac{1}{1-\hat{p}}\sum_{i=1}^n X_i &= 0, \\ \hat{p}\left\{ \sum_{i=1}^{n}X_i + n \right\} &= n, \\ \therefore \hat{p} &= \dfrac{1}{1+\bar{X}}. \hspace{3mm}\left( \dfrac{1}{n}\sum_{i=1}^{n}X_i \right) \end{align}$$

$\sqrt{n}(\hat{p}-p)$ の漸近分布は

$$\begin{align} E[\bar{X}] &= \dfrac{1-p}{p} = \dfrac{1}{p} -1, \end{align}$$

より、$p$ の不偏推定量は $E\left[\dfrac{1}{1+\bar{X}}\right] = p$ より、$\dfrac{1}{1+\bar{X}}$ 。また分散は、クラメール・ラオの不等式の下限が

$$\begin{align} V(p) \geq \dfrac{1}{I(p)}, \end{align}$$

このように表されるので、$V\left[\dfrac{1}{1+\bar{X}}\right] = \dfrac{p^2(1-p)}{n}$。ゆえに $\sqrt{n}(\hat{p}-p) \to {}_d N(0, p^2(1-p))$ に収束する。

$(b)$ $\theta$ のフィっしゃ情報量 $I(\theta)$ は $\theta = (1-p)/p,$ $p=1/(1+\theta)$ だから $(a)$ の尤度関数を変形して

$$\begin{align} L(\theta) &= \prod_{i=1}^{n}\left( \dfrac{1}{1+\theta} \right)\left(\dfrac{\theta}{1+\theta}\right)^{x_i}, \\ \dfrac{d^2}{d\theta^2}\log L(\theta) &= \dfrac{d^2}{d\theta^2} \left\{ -n\log (1+\theta) + \sum_{i=1}^{n}X_i\log\dfrac{\theta}{1+\theta} \right\} \notag \\ &= n\cdot\dfrac{1}{(1+\theta)^2} + \left\{ \dfrac{1}{\theta^2} - \dfrac{1}{(1+\theta)^2} \right\}\cdot n\theta \notag \\ &= \dfrac{n}{\theta (1+\theta)}, \end{align}$$

より、クラメール・ラオの下限はこの逆数の $\theta(1+\theta)/n$ となる。

$(c)$ $\theta$ の最尤推定量 $\hat{\theta}$ は

$$\begin{align} \dfrac{d}{d\theta} \log L(\theta) &= -\dfrac{n}{1+\theta} + \dfrac{1}{\theta}\sum_{i=1}^{n}X_i - \dfrac{1}{1+\theta}\sum_{i=1}^{n}X_i, \end{align}$$

を $0$ とする $\theta$ だから、

$$\begin{align} -\dfrac{n}{1+\hat{\theta}} + n\bar{X}\left(\dfrac{1}{\hat{\theta}}-\dfrac{1}{1+\hat{\theta}}\right) &= 0, \\ \therefore \hat{\theta} &= \bar{X}. \end{align}$$

一方、$\theta$ の不偏推定量は $E[\bar{X}] = \dfrac{1}{p} - 1 = \theta$ だから、$\hat{\theta}$ は $\theta$ の不偏推定量。ゆえに漸近分布 $\sqrt{n}(\hat{\theta}-\theta) \to {}_d N(0, \theta(1+\theta))$.

$(d)$ デルタ法より $\sqrt{n}(g(\bar{X})-g(\theta)) \to {}_d N(0, (g'(\theta))^2\cdot \theta(1+\theta))$ なので、漸近分散が $1$ となるには、

$$\begin{align} g'(\theta) &= \dfrac{1}{\sqrt{\theta(1+\theta)}}, \notag \\ &= \dfrac{1/\sqrt{\theta}+1/\sqrt{1+\theta}}{\sqrt{\theta}+\sqrt{1+\theta}}, \\ \therefore g(\theta) &= \int \dfrac{1}{\sqrt{\theta(1+\theta)}} d\theta \notag \\ &= 2\log(\sqrt{\theta}+\sqrt{1+\theta}). \end{align}$$

問 7

解答のポイント
共分散の公式をうまく用いて計算できるか。

$(a)$ $E[X_i] = np_i,\hspace{1mm}{\rm Var}(X_i) = np_i (1-p_i), \hspace{1mm}{\rm{Cov}}(X_i, X_j) = -np_ip_j$ であることを利用する。

$$\begin{align} E[Y_i] &= E[X_1+X_3] \notag \\ &= E[X_1] + E[X_3] \notag \\ &= n\theta, \\ {\rm{Var}}(Y_1) &= {\rm{Var}}(X_1) + {\rm{Var}}(X_3) + 2{\rm{Cov}}(X_1, X_3) \notag \\ &= np_1(1-p_1) + np_3(1-p_3) - 2np_1p_3 \notag \\ &= n(p_1+p_3) - n(p_1+p_3)^2 \notag \\ &= n\theta(1-\theta). \end{align}$$

$(b)$ 共分散の公式を利用して

$$\begin{align} {\rm{Cov}}(Y_1, Y_2) &= {\rm{Cov}}(X_1+X_3, X_2+X_3) \notag \\ &= {\rm{Cov}}(X_1, X_2) + {\rm{Cov}}(X_1, X_3) + {\rm{Cov}}(X_2, X_3) + {\rm{Var}}(X_3) \notag \\ &= -np_1p_2 -np_1p_3 -np_2p_3 +np_3(1-p_3)\notag\\ &= -n(1-\theta)(1-\theta) - n(1-\theta)(1-2\theta) - n(1-\theta)(1-2\theta) + 2n\theta(1-2\theta)\notag \\ &= -n(1-\theta)^2. \end{align}$$

$(c)$ $\hat{\theta}^U = (Y_1+Y_2)$ の平均は、

$$\begin{align} E[\hat{\theta}^U] &= (n\theta + n \theta)/2n \notag \\ &= \theta. \end{align}$$

なので、$\hat{\theta}^U$ は $\theta$ の不偏推定量。

分散は、

$$\begin{align} {\rm{Var}}(\hat{\theta}^U) &= \dfrac{1}{4n^2}\cdot\{ {\rm{Var}}(Y_1) + {\rm{Var}}(Y_2) + 2 {\rm{Cov}}(Y_1,Y_2) \}\notag \\ &= \dfrac{1}{4n^2}\cdot n\cdot \{ 2\theta(1-\theta) - 2(1-\theta)^2 \} \notag \\ &= \dfrac{(1-\theta)(2\theta - 1)}{2n}, \end{align}$$

となる。ゆえに大小関係は $\dfrac{2\theta - 1}{2} = \theta - \dfrac{1}{2} < \theta$ より

$$\begin{align} {\rm{Var}}(Y_1/n) &= \dfrac{\theta(1-\theta)}{n} > \dfrac{(1-\theta)(2\theta - 1)}{2n} = {\rm{Var}}(\hat{\theta}^U), \end{align}$$

なる関係が成立する。

2. 参考

• 著者によるサポートサイト

https://sites.google.com/site/ktatsuya77/xian-dai

• 本記事の元となる参考書

https://www.amazon.co.jp/現代数理統計学の基礎-共立講座-数学の魅力-久保川-達也/dp/4320111664/ref=sr_1_1?adgrpid=54805103953&dib=eyJ2IjoiMSJ9.VfpslZPA1hJcfZ6GlybM-BZElkBWvqf_Kgatswm5-uX-Rrr_zfpqFGXO-NlbMC9zUyFJWtoYVeHn0o3hzvE5fUzz34WzR2P5xlIUbq0M3-04VS8sdgU9Im81G6IDCTe92fqP2zERyXknA-SxuJo6c4rID80O3TITMkCj8zIqUUtsjOAvwy2MEhwNtfo6XTrARa_uQcxbniCxvdty1ozAc1drBy7jb9CMkeEJLzVdivESA6t7XFhBQd8abcBqrl1ioB1rykxF7eVJQhTDVYlUZd9GAsxV3Na-3QayAl4fXw4.dB_yUwhlbUtbO47o1oxG1p9Ni0qdcFS5Sxi-dufB18E&dib_tag=se&hvadid=679073105221&hvdev=c&hvlocphy=1009298&hvnetw=g&hvqmt=e&hvrand=6287229992004864408&hvtargid=kwd-332372924816&hydadcr=27703_14738805&jp-ad-ap=0&keywords=現代数理統計学の基礎&qid=1732920700&sr=8-1

• 他の方が書かれた参考書の章末問題 + テスト (基礎編) の解説記事(参考書を読む上で非常に理解の助けになった)

https://qiita.com/toukei/items/f9c19bf506b9894ba04e