📝

数理統計用計算テクニック集（統計検定1級対策）

に公開
統計学
統計検定
idea

1．はじめに

統計検定1級の統計数理分野対策として，よく使う計算テクニックをまとめてみました。
※注：試験で証明なしで使っても問題ないかはわかりません。本番で使う場合は自己責任でお願いします。

2．計算テクニック集

期待値計算

  • 定義関数の期待値

    \mathrm{E}[\mathrm{I}(X>a)] = \int_{a}^{\infty} f_X(x)\,dx = 1-F_X(a) = P(X>a)

    活用例：チェビシェフの不等式の証明など。

  • 被積分関数を確率密度関数にする
    活用例：\chi^2 分布の期待値の計算など。

    \begin{aligned} \mathrm{E}[X]&=\int_0^{\infty} x f(x)\,dx \\ &=\int_0^{\infty} x \frac{1}{2^{\nu/2}\,\Gamma(\nu/2)}\,x^{\nu/2-1}e^{-x/2}\,dx \\ &=\frac{2\,\Gamma(\nu/2+1)}{\Gamma(\nu/2)}\int_0^{\infty} \frac{1}{2^{(\nu/2+1)}\,\Gamma(\nu/2+1)}\,x^{(\nu/2+1)-1}e^{-x/2}\,dx\\ &=\nu \end{aligned}

  • 和の積率母関数
    X_1,\dots,X_n, i.i.d. のとき S=\sum_{i=1}^n X_i の積率母関数は次式で与えられる。

    M_{S}(t)=\mathrm{E}\left[\exp\!\left(t\sum_{i=1}^n X_i\right)\right] =\prod_{i=1}^n \mathrm{E}[e^{tX_i}] = \{M_{X}(t)\}^n

  • 条件付き期待値

    \mathrm{E}[X] = \mathrm{E}_Y\big[\,\mathrm{E}_X[X\mid Y]\,\big]

    活用例：多変量分布の周辺期待値の計算など。

行列計算

  • ヤコビ行列を三角行列にした変数変換
    例：以下の変換を考えたとき，ヤコビアンは三角行列となり，行列式は対角要素の積になる。

    Y_i=\sum_{j=1}^i a_j X_j
    \left| \frac{\partial(X_1,\dots,X_n)}{\partial(Y_1,\dots,Y_n)} \right| = \left| \frac{\partial(Y_1,\dots,Y_n)}{\partial(X_1,\dots,X_n)} \right|^{-1} = \frac{1}{\prod_{i=1}^n a_i}

  • ブロック行列の逆行列（Schurの補行列）

    \begin{pmatrix}A & B\\ C & D \end{pmatrix}^{-1} = \begin{pmatrix} M & -MBD^{-1} \\ -D^{-1}CM & D^{-1}+D^{-1}CMB D^{-1} \end{pmatrix}, \quad M=(A-BD^{-1}C)^{-1}.

    活用例：多変量正規の条件付き分布，重回帰の係数導出など。

各種変換

  • 最尤推定量の不変性
    \hat\theta_{\mathrm{ML}} が \theta の最尤推定量ならば，\hat\phi=g(\hat\theta_{\mathrm{ML}}) も \phi=g(\theta) の最尤推定量。

  • g(\theta) のフィッシャー情報量
    I_1(\theta)を1標本での \theta のフィッシャー情報量とすると，\thetaを変換したg(\theta) のフィッシャー情報量は次式で与えられる。

    I_n\big(g(\theta)\big) = \frac{n\,I_1(\theta)}{\{g'(\theta)\}^2}

  • 分布関数の変換
    X=g(Y) とすると，XとYの分布関数の関係式は次式で与えられる。ただし，gは単調増加関数とする。

    F_X(x)=P(X\le x)=P(g(Y)\le x) =P\big(Y\le g^{-1}(x)\big)=F_Y\big(g^{-1}(x)\big)

    例：特に Y\sim\mathsf{U}(0,1) のとき，F_U(u)=u より，逆関数法による乱数生成となる。

スコア関数関連

以下では，スコア関数を

S_\theta(x)=\dfrac{\partial}{\partial\theta}\log f(x\mid\theta)

と定義します。

  • スコア関数の期待値は 0

    \mathrm{E}\Big[S_\theta(x)\Big] =\mathrm{E}\Big[\frac{\partial}{\partial\theta}\log f(X\mid\theta)\Big]=0.

    活用例：ガンマ分布の対数の期待値\mathrm{E}[\log X]の計算など。

  • スコア関数との積の期待値

    \mathrm{E}[g(X)S_\theta(X)] =\int g(x)\,\frac{\partial}{\partial\theta}\log f(x\mid\theta)\,f(x\mid\theta)\,dx =\int g(x)\,\frac{\partial}{\partial\theta} f(x\mid\theta)\,dx =\frac{\partial}{\partial\theta}\,\mathrm{E}[g(X)].

その他の計算手法

  • 積分の恒等式

    x=\int_0^x 1\,dy,\qquad x^2=\int_0^x 2y\,dy

    活用例：下記の公式の導出などに利用。

    \mathrm{E}[X]=\int_0^{\infty}\{1-F(X)\}\,dx-\int_{-\infty}^0 F(X)\,dx

  • 確率の式で変形
    例：絶対値の書き換えなど。

    P(|X|\le a)=P(-a\le X\le a).

3．おわりに

あまり参考書などで詳しく解説されていないけれども，演習問題でよく使う計算テクニックをまとめてみました。試験対策などにお役立ていただければ幸いです。

Discussion