はじめに
これは統計検定1級のために個人的に作ったノートを公開したもののうち、確率分布に関するものをまとめたものです。元々は以下の記事に書いていたものですが、長いので分離しました。
https://zenn.dev/oroshi/articles/statistical_society_certificate_mathnote
過去問をやって分からなかった概念で、公式の教科書に載っていなかったこと、記述が薄いことをまとめていたり、ちゃんと証明をつけたりしています。
試験においては、確率密度関数の具体的な形を覚えておく必要はありませんが、重要な性質や他の確率分布との関係はきちんと押さえておく必要があります。
平均や分散の値も記載していますが、表示を隠しているので覚えるのに使ってください。
ベルヌーイ分布
0 < p < 1 とする。集合 \{0, 1\} 上の確率関数
f(x) = \begin{cases} 1 -p & (x = 0) \\ p & (x = 1) \end{cases}
を持つ確率分布をベルヌーイ分布という。f(x) = p^x (1-p)^{(1-x)} とも表される。成功 (=1) の確率が p、失敗 (=0) の確率が 1-p。
例えばコイン投げで表を 1、裏を 0 としたもの。
平均、分散
平均、分散の計算詳細
X をベルヌーイ分布に従う確率変数とする。
E[X] = (1 -p) \cdot 0 + p \cdot 1 = p
\begin{align*}
V[X] &= E[(X-p)^2] = E[X^2] -(E[X])^2 \\
&= (1-p) \cdot 0^2 + p \cdot 1^2 -p^2 = p(1-p)
\end{align*}
二項分布
整数 n > 0, 0 < p < 1 をパラメーターとした \{0, 1, \cdots, n\} 上の確率関数
f(x) = {}_n C_x p^x (1 -p)^{(n-x)}
を持つ確率分布を二項分布といい、B(n, p) で表す。
X_i (1 \leq i \leq n) をベルヌーイ分布に従う独立な確率変数としたとき、\sum_{i=1}^n X_i は二項分布に従う。
ちなみに、X_1 \sim B(n_1, p)、X_2 \sim B(n_2, p) ならば X_1+X_2 \sim B(n_1 +n_2, p) である。
平均、分散の値
平均、分散の計算
独立なのでベルヌーイ分布の平均、分散をそれぞれ n 倍すれば良い。
幾何分布
成功確率 0 < p < 1 のベルヌーイ試行を繰り返して、最初に成功するまでの失敗回数を X とする。X は \{0, 1, \cdots\} に値を取る確率変数である。X の分布を幾何分布という。幾何分布は確率関数
f(n) = P(X = n) = p(1 -p)^n
を持つ。(最初に成功するまでの試行回数を考える場合もある。)
平均、分散の値
平均 \dfrac{1 -p}{p}、分散 \dfrac{1 -p}{p^2}。
幾何分布という名前の由来
|x| < 1 のとき
\frac{1}{1 -x} = \sum_{n = 0}^{\infty} x^n
が成り立つ。右辺の級数を幾何級数という。これから
\sum_{n = 0}^{\infty}P(X = n) = p \sum_{n = 0}^{\infty}(1 -p)^n = p \cdot \frac{1}{1 -(1-p)} = 1
がわかる。
平均、分散の計算その1 (べき級数の微分)
幾何分布のような、べき級数 g(x) = \sum_{n=0}^{\infty} a_n x^n を使って
P(X = n) = \frac{1}{g(x)} \sum_{n=0}^{\infty} a_n x^n
で定義される分布は、微分を用いると平均、分散の計算が簡単にできる。
g^{\prime}(x) = \sum_{n=0}^{\infty} n a_n x^{n-1} であることから、平均は
E[X] = \frac{1}{g(x)}\sum_{n=0}^{\infty} n a_n x^{n} = \frac{xg^{\prime}(x)}{g(x)}
となる。これから幾何分布は g(x) = \frac{1}{1-x} のべき級数展開を用いて定義され、p = 1 -x と考えれば良いので
E[X] = x(1 -x) \cdot \frac{1}{(1 -x)^2} = \frac{x}{1-x} = \frac{1 -p}{p}
と求まる。
分散は 2 階微分 g^{\prime\prime}(x) = \sum_{n=0}^{\infty} n (n-1)a_n x^{n-2} を用いれば良い。
\frac{x^2 g^{\prime\prime}(x)}{g(x)} = E[X^2] -E[X] = V[X] + E[X]^2 -E[X]
なので幾何分布の場合
\begin{align*}
V[X] &= x^2 (1-x) \cdot \frac{2}{(1-x)^3} -E[X]^2 +E[X] \\
&= \frac{2(1 -p)^2}{p^2} -\frac{(1 -p)^2}{p^2} +\frac{1 -p}{p} = \frac{1-p}{p^2}
\end{align*}
となる。
平均、分散の計算その2
微分を使った方法は汎用的で強力だが、べき級数の微分は大学1年で習う内容なので、高校レベルの数学で計算できる方法も紹介する。
基本的なアイディアは \sum_{k=1}^{n} k^2 を求めるテクニックに似ている。\sum_{k=1}^{n} k^2 は
\sum_{k=1}^n\{k^3 -(k-1)^3\}
を 2 通りの方法で計算して求めた。今回は (1 -p)^k がかかっているため項がキャンセルしないが、そのまま差を取れば良い。
E_n = p\sum_{k=0}^{n} k(1 -p)^k とおく。E_n \to E[X] (n \to \infty) で、
E_n -E_{n-1} = pn(1-p)^n \to 0
だが、一方
\begin{align*}
E_n -E_{n-1} &= p\sum_{k=0}^{n} k(1 -p)^k -p\sum_{k=0}^{n-1} k(1 -p)^k \\
&= p\sum_{k=1}^{n} k(1 -p)^k -p\sum_{k=1}^{n} (k-1)(1 -p)^{k-1} \\
&= p\sum_{k=1}^{n} (1 -p)^{k-1} \{k(1 -p) -(k-1)\} \\
&= -p^2\sum_{k=1}^{n} (1 -p)^{k-1} k + p\sum_{k=1}^{n} (1 -p)^{k-1} \\
&= -\frac{p^2}{1-p} E_n +p \sum_{k=0}^{n-1} (1 -p)^{k} \\
& \to -\frac{p}{1-p} E[X] +p \sum_{k=1}^{n} (1 -p)^{k-1} \quad (n\to \infty) \\
E[X] &= \frac{1 -p}{p}
\end{align*}
極限周りを少し雑に書いたが、この方法なら E_n を n の式で表すことができる。
分散も同様にすれば良い。
負の二項分布
幾何分布の一般化である。
成功確率 0 < p < 1 のベルヌーイ試行を繰り返して、r 回成功するまでの失敗回数を X とする。X は \{0, 1, \cdots\} に値を取る確率変数である。X の分布を負の二項分布といい、NB(r, p) と表す。NB(r, p) は確率関数
f(n) = P(X =n) = {}_{n + r -1}C_n p^r (1 -p)^n
を持つ。( {}_{n + r -1}C_n は n + r -1 回目までに r-1 回成功、n 回失敗し、n+r 回目に成功するパターンの数)
これは幾何分布に従う独立な確率変数 Y_1, \cdots, Y_r の和の分布でもある。
平均、分散の値
平均 \dfrac{r(1 -p)}{p}、分散 \dfrac{r(1 -p)}{p^2}
負の二項分布という名前の由来
|x| < 1, \alpha \in \mathbb{R} に対して一般化二項定理
(1 + x)^{\alpha} = \sum_{k = 0}^{\infty} \binom{\alpha}{k} x^k
が成り立つ。ただし
\binom{\alpha}{k} = \frac{\alpha (\alpha -1) \cdots (\alpha -k +1)}{k!}.
\alpha が自然数のときは、\alpha \geq k なら \binom{\alpha}{k} = {}_\alpha C_k、\alpha <k なら \binom{\alpha}{k} = 0 であり、二項定理そのものである。
\alpha が負の整数のときは
\binom{\alpha}{k} = (-1)^k \frac{(-\alpha) \cdots (k-\alpha-1)}{k!} = (-1)^k {}_{k -\alpha-1} C_k
なので、\alpha = -r, x = -(1 -p) とおけば
\frac{1}{p^r} = \sum_{k = 0}^{\infty} {}_{k + r-1} C_k (1-p)^k.
負の整数の二項級数から得られるので負の二項分布という。
平均、分散の計算
幾何分布の平均、分散をそれぞれ r 倍すれば良い。
超幾何分布
玉が N 個あり、そのうち赤玉が M 個、白玉が N -M であるとする。その中から n 個とった時の赤玉の数 X は \{0, \cdots, n\} に値を取る確率変数である。この X の分布を超幾何分布という。超幾何分布の確率関数は
f(k) = P(X =k) = \frac{{}_M C_k \cdot {}_{N-M} C_{n -k}}{{}_N C_n}
である。
平均、分散の値
平均 n \frac{M}{N} 、分散 n \frac{M}{N}\left(1 -\frac{M}{N}\right) \frac{N -n}{N -1}。
\frac{M}{N} が 0 < p < 1 になるように N \to \infty の極限を取れば二項分布 B(n, p) に収束すると考えられる (赤玉を引く = 成功)。二項分布の分散と比較して \frac{N -n}{N -1} が余計にかけられている。
名前の由来
平均の計算
確率関数の形からわかるように
\sum_{k = 0}^n {}_M C_k \cdot {}_{N-M} C_{n -k} = {}_N C_n
が成り立つ。k \cdot {}_M C_k = M \cdot {}_{M-1} C_{k-1} であり、{}_N C_n と {}_{N-1} C_{n-1} の関係は単純なので、添え字を下げた形で上の等式が使えると良さそう。計算すると
\begin{align*}
E[X] &= \frac{1}{{}_N C_n} \sum_{k = 0}^n k{}_M C_k \cdot {}_{N-M} C_{n -k} \\
&= \frac{M}{{}_N C_n} \sum_{k = 1}^n {}_{M-1} C_{k-1} \cdot {}_{N-M} C_{n -k} \\
&= \frac{M}{{}_N C_n} \sum_{k = 1}^n {}_{M-1} C_{k-1} \cdot {}_{(N-1)-(M-1)} C_{(n-1) -(k-1)} \\
&= \frac{M}{{}_N C_n} \sum_{k = 0}^{n-1} {}_{M-1} C_{k} \cdot {}_{(N-1)-(M-1)} C_{(n-1) -k} \\
&= \frac{M}{{}_N C_n} {}_{N-1} C_{n-1} = \frac{Mn}{N}
\end{align*}
となる。
分散の計算
分散は平均とほぼ同様に計算できる。等式
k(k-1) \cdot {}_M C_k = M(M-1) \cdot {}_{M-2} C_{k-2}
を使って E[X(X-1)] を計算する。
\begin{align*}
E[X(X-1)] &= \frac{1}{{}_N C_n} \sum_{k = 0}^n k(k-1){}_M C_k \cdot {}_{N-M} C_{n -k} \\
&= \frac{M(M-1)}{{}_N C_n} \sum_{k = 2}^n {}_{M-2} C_{k-2} \cdot {}_{N-M} C_{n -k} \\
&= \frac{M(M-1)}{{}_N C_n} \sum_{k = 2}^n {}_{M-2} C_{k-2} \cdot {}_{(N-2)-(M-2)} C_{(n-2) -(k-2)} \\
&= \frac{M(M-1)}{{}_N C_n} \sum_{k = 0}^{n-2} {}_{M-2} C_{k} \cdot {}_{(N-2)-(M-2)} C_{(n-2) -k} \\
&= \frac{M(M-1)}{{}_N C_n} \sum_{k = 0}^{n-2} {}_{M-2} C_{k} \cdot {}_{(N-2)-(M-2)} C_{(n-2) -k} \\
&= \frac{M(M-1)}{{}_N C_n} {}_{N-2}C_{n-2} = n(n-1)\frac{M(M-1)}{N(N-1)}\\
\end{align*}
よって
\begin{align*}
V[X] &= E[X^2] -E[X]^2 = E[X(X-1)] +E[X] -E[X^2] \\
&= n(n-1)\frac{M(M-1)}{N(N-1)} +n\frac{M}{N} -n^2\frac{M^2}{N^2} \\
&= n\frac{M}{N}\left((n-1)\frac{M-1}{N-1} + 1 -n\frac{M}{N}\right) \\
&=n\frac{M}{N}\frac{(n-1)N(M-1) + N(N-1) -n(N-1)M}{N(N-1)} \\
&= n\frac{M}{N}\frac{(N -M)(N-n)}{N(N-1)} = n\frac{M}{N}\left(1 -\frac{M}{N}\right)\frac{N-n}{N-1}
\end{align*}
多項分布
二項分布の一般化。二項分布は結果が成功 or 失敗の 2 つだったのに対して、多項分布は結果が K 個のカテゴリーに分類される場合に相当する。1 回の試行での各カテゴリーの発生確率を p_1, \cdots, p_K (p_1 + \cdots + p_k = 1) とする。独立な試行を n 回繰り返したときの各カテゴリーの発生回数を X_1, \cdots, X_K とおき、その組 X = (X_1, \cdots, X_K) とおく。X は集合
\{x \in \mathbb{Z}^K \mid 0\leq x_i \leq n, \ x_1 + \cdots + x_K = n\}
に値を取る確率変数である (x_K は他の値から自動的に決まるので、0 \leq x_1 + \cdots + x_{K-1} \leq n 上で考えても良い)。
この分布の確率関数は、x = (x_1, \cdots, x_K) とおいたとき
P(X =x) = \frac{n!}{x_1! \cdots x_K!} p_1^{x_1} \cdots p_K^{x_K}
である。ある 1 \leq i \leq K に着目すると、i 番目のカテゴリーが発生するとき成功、そうでないとき失敗とみなせば、X_i \sim B(n, p_i) であることがわかる。
共分散の計算
少しテクニカルだが、以下のように求めることができる。
i \neq j のとき、i 番目または j 番目のカテゴリーが発生することを成功、そうでないことを失敗とみなせば X_i+ X_j \sim B(n, p_i+p_j) である。二項分布の分散は np(p-1) で与えられ、
V[X_i+X_j]=V[X_i]+V[X_j]+2\mathrm{Cov}[X_i, X_j]
から
\begin{align*}
\mathrm{Cov}[X_i, X_j] &= \frac{n}{2} \left((p_i+p_j)(1-p_i-p_j) -p_i(1 -p_i) -p_j(1-p_j)\right)\\
&= -np_ip_j
\end{align*}
ポアソン分布
ある事象が一定時間で平均 \lambda > 0 回発生するが、いつ発生するかわからない現象を考える。一定時間内の発生回数 X は \{0, 1, \cdots \} に値を取る確率変数である。X が従う確率分布の確率関数は
P(X =n) = e^{-\lambda} \frac{\lambda^n}{n!}
である。
平均、分散の値
時間 t をパラメーターとして e^{-\lambda t} \frac{(\lambda t)^n}{n!} を考えることが多い。他にも、試行回数が多く、成功確率が小さい二項分布の近似としても現れる。
確率関数の導出
一定時間を有限個の区間に分割し、その有限個の区間のうち約 \lambda 個が選ばれる (事象発生する) と考えれば、ポアソン分布は二項分布 B(n, p) の極限と考えることができる。
N 個の区間に分割し、X \sim B(N, p) としたとき、E[X] = Np なので、\lambda = Np となるように p を取れば事象の平均発生回数が \lambda となる。確率関数は
\begin{align*}
P_N(X = k) &= {}_N C_k p^{k} (1 -p)^{N-k} \\
&= {}_N C_k \left(\frac{\lambda}{N}\right)^{k} \left(1 -\frac{\lambda}{N}\right)^{N-k}
\end{align*}
である。分割を細かくするため N \to \infty の極限を取ると、確率関数は
\begin{align*}
P_N(X = k)
&= \frac{N \cdot (N-1) \cdots (N-k+1)}{k!}\left(\frac{\lambda}{N}\right)^{k} \left(1 -\frac{\lambda}{N}\right)^{N-k} \\
&=\left(1 -\frac{1}{N}\right) \cdots \left(1 -\frac{k-1}{N}\right) \frac{\lambda}{k!} \left(1 -\frac{\lambda}{N}\right)^{N-k} \\
&=\left(1 -O\left(\frac{1}{N}\right)\right)^{k-1}\left(1 -\frac{\lambda}{N}\right)^{-k} \frac{\lambda}{k!} \left(1 -\frac{\lambda}{N}\right)^{N}\\
& \to \frac{\lambda}{k!} e^{-\lambda} \quad (N \to \infty)
\end{align*}
となる。だたし (1 -\frac{\lambda}{N})^{-k} \to 1 と
\left(1 -\frac{\lambda}{N}\right)^{N} = \left(1 -\frac{\lambda}{N}\right)^{-\frac{N}{\lambda} \cdot -\lambda} \to e^{-\lambda}
を用いた。
平均、分散の計算
E[X], E[X(X-1)] に関しては級数を普通に計算しても難しくないが、e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!} なので、幾何分布 の項で紹介したようにべき級数の微分を用いても計算ができる。
\begin{align*}
E[X] = \lambda \frac{\frac{d}{d\lambda}(e^\lambda)}{e^\lambda} = \lambda
\end{align*}
\begin{align*}
V[X] &= E[X(X-1)] + E[X]^2 -E[X] \\f
&= \lambda^2 \frac{\frac{d^2}{d\lambda^2}(e^\lambda)}{e^\lambda} -\lambda^2 +\lambda = \lambda
\end{align*}
指数分布
ポアソン分布 で考えた現象と同じ現象を、ポアソン分布では一定期間内の発生回数を考えたのに対して、今度は最初に事象が発生するまでの時間を考える。最初の発生時刻 T は正の実数に値をとる確率変数であり、その分布の確率密度関数は
f_{\lambda}(t) = \lambda e^{-\lambda t}
である。指数分布を \mathrm{Exp}(\lambda) と表す。
平均、分散の値
平均 \frac{1}{\lambda}、分散 \frac{1}{\lambda^2}。
確率密度関数の導出方法 (その1)
一つ目は幾何分布の極限を取る方法。X を幾何分布に従う確率分布として、ポアソン分布の場合と同様に p = \frac{\lambda}{N} とし、T = \frac{X}{N} とおく。つまり、試行回数を N 倍、成功確率を \frac{1}{N} 倍とし、1 回成功するまでの失敗回数の \frac{1}{N} を T とする。このとき
\begin{align*}
P\left(T = \frac{k}{N}\right) &= P(X = k) = p(1 -p)^k = \frac{\lambda}{N} \left(1 -\frac{\lambda}{N}\right)^k \\
&= \frac{1}{N} \lambda \left(1 -\frac{\lambda}{N}\right)^{\left(-\frac{N}{\lambda}\right)\frac{k}{N} \lambda}
\end{align*}
である。\frac{1}{N} は (確率関数と密度関数の違いによるものなので) 無視すれば、\frac{k}{N} \to t, \left(1 -\frac{\lambda}{N}\right)^{-\frac{N}{\lambda}} \to e^{-1} という対応で指数分布の確率密度関数を得られる。
確率密度関数の導出方法 (その2) ポアソン分布から
単位時間あたりに平均 \lambda 回発生する事象を、時間 t まで回数を数えた確率変数 X_t は、パラメータ \lambda t のポアソン分布に従う。よって時間 t までに 0 回発生する確率は X_t が 0 である確率、つまり
P(X_t = 0) = e^{-\lambda t} \frac{(\lambda t)^0}{0!} = e^{-\lambda t}
である。最初に事象が発生する時刻 (確率変数) を T とおくと
P(T > t) = e^{-\lambda t}
である。よって累積分布関数は
F(t) = P(T \leq t) = 1 -e^{-t\lambda}
であり、微分をすれば f(t) = \lambda e^{-t\lambda} となる。
ちなみに、逆に指数分布からポアソン分布を得るには次のようにすれば良い。最初に事象が発生するまでの時間を t_1, その時点から次の事象が発生するまでの時間を t_2 ... としたとき、単位時間 1 までに n 回発生するのは t_1 + \cdots + t_n < 1 < t_1 + \cdots + t_n + t_{n+1} となる場合で、それは
\int_0^1 \int_{1-k}^{\infty} \int \cdots \int_{t_1 + \cdots + t_n = k} \prod_{i=1}^{n+1} \lambda e^{-t_i\lambda} dt_1 \cdots dt_n dt_{n+1} dk
を計算すれば良い。見た目よりは簡単で、まず t_1 から t_n までの積分は
\begin{align*}
& \int \cdots \int_{t_1 + \cdots + t_n = k} \prod_{i=1}^{n} \lambda e^{-t_i\lambda} dt_1 \cdots dt_n \\
= \ & \lambda^n e^{-k\lambda}\int \cdots \int_{t_1 + \cdots + t_n = k} dt_1 \cdots dt_n \\
= \ & \lambda^n e^{-k\lambda} k^n \int \cdots \int_{s_1 + \cdots + s_n = 1} ds_1 \cdots ds_n \quad(s_1 = \frac{1}{k}t_1)\\
= \ & \lambda^n e^{-k\lambda} k^n \int \cdots \int_{0\leq u_1 \leq \cdots \leq u_n \leq 1} du_1 \cdots du_n \quad(u_i = \sum_{j=1}^i s_i)\\
= \ & \lambda^n e^{-k\lambda} k^n \int_0^1 \cdots \int_0^{u_3}\int_0^{u_2} du_1du_2 \cdots du_n\\
= \ & \frac{\lambda^n e^{-k\lambda} k^n}{(n-1)!}
\end{align*}
となる。ただし s_i \to u_i の変換は、ヤコビアンが三角行列で、対角成分が全て 1 であることに注意する。t_{n+1} に関する積分は、累積分布関数の表示から e^{-(1-k)\lambda} であり、t_1 から t_n までの積分の結果と積をとれば \frac{\lambda^n}{(n-1)!} e^{-\lambda}k^n となる。これを k に関して 0 から 1 まで積分すれば良い。
確率密度関数の導出方法 (その3)
累積分布関数 F(x) で、F(0) = 0 を満たすものを考える。その確率密度関数を f(x) とおく。このとき、
\begin{gather*}
P(X > x) = 1 -F(x) \\
P(x < X < x + \Delta x) \fallingdotseq f(x) \Delta x
\end{gather*}
である。x を時間とみなし、F(x) を x までに (故障などの) 事象が発生する確率としたとき、x まで事象が発生せずに、x から x + \Delta x の間に事象が発生する確率 r(x) \Delta x は条件付き確率
r(x)\Delta x = P(x < X < x + \Delta x \mid X > x) = \frac{f(x)\Delta x}{1 -F(x)}
で与えられる。指数分布はこれが一定である分布として特徴づけられる。実際、
\frac{f(x)}{1 -F(x)} = -\frac{d}{dx} \log (1 -F(x)) = \lambda
を解くと F(x) = 1 -e^{-\lambda x} となり、その確率密度関数は \lambda e^{-\lambda x} である。
ものによっては、ある時点を過ぎると急に壊れやすくなる、あるいは逆にある時点まで無事ならそれ以降も無事な確率が高い、ということもありうるが、指数分布はそのような事はなく常に一定である。
平均、分散の計算
部分積分すれば良い。
\begin{align*}
&E[T] = \int_0^{\infty} t \lambda e^{-\lambda t} dt\\
= \ & \lambda \left[t \frac{1}{-\lambda}e^{-\lambda t} \right]_0^{\infty} -\lambda\int_0^{\infty} \frac{1}{-\lambda}e^{-\lambda t}dt \\
= \ & \int_0^{\infty}e^{-\lambda t}dt = \frac{1}{\lambda}
\end{align*}
\begin{align*}
&E[T^2] = \int_0^{\infty} t^2 \lambda e^{-\lambda t} dt\\
= \ & \lambda \left[t^2 \frac{1}{-\lambda}e^{-\lambda t} \right]_0^{\infty} -\lambda\int_0^{\infty} \frac{2 t}{-\lambda}e^{-\lambda t}dt \\
= \ & 2 \int_0^{\infty}t e^{-\lambda t}dt = \frac{2}{\lambda^2}
\end{align*}
よって
V[T] = E[T^2] -E[T]^2 = \frac{1}{\lambda^2}
正規分布
確率密度関数が以下で与えられる確率分布を (一次元) 正規分布という。N(\mu, \sigma^2) と表す。
f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left(-\frac{(x -\mu)^2}{2 \sigma^2} \right)
平均、分散の値
X_1 \sim N(\mu_1, \sigma_1^2), X_2 \sim N(\mu_2, \sigma_2^2) が独立なとき、定数 a 倍した aX は分散が a^2 倍になり、和をとった X_1 + X_2 は分散が \sigma_1^2 + \sigma_2^2 になる。
\begin{align*}
aX_1 & \sim N(a \mu_1, a^2 \sigma_1^2), \\
X_1 + X_2 & \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
\end{align*}
特に、確率変数 \dfrac{X -\mu}{\sqrt{\sigma}} は N(0, 1) に従う。この処理を標準化という。検定手法を比較するときに行うことがある。
平均、分散の計算
\int_{-\infty}^{\infty}\frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left(-\frac{(x -\mu)^2}{2 \sigma^2} \right) dx = 1
をベースに変数変換し、部分積分で被積分関数の次数を下げれば良い。
多変量正規分布
n 変量の確率変数 X = (X_1, \cdots, X_n) を考える。\mu を n 次元ベクトル、\Sigma を n \times n 正定値対称行列 (固有値が全て正) とする。X の確率密度関数が
f(x) = \frac{1}{\sqrt{(2 \pi)^n |\Sigma|}} \exp \left(-\frac{{}^t(x -\mu) \Sigma^{-1}(x-\mu)}{2}\right)
で与えられるとき、X が従う分布を多変量正規分布といい、N(\mu, \Sigma) と表す (x, \mu は縦ベクトルであるとする)。X が N(\mu, \Sigma) に従うとき、
\begin{align*}
\mu_i &= E[X_i] \\
\Sigma_{ij} &= \begin{cases}V[X_i] & (i = j) \\ \mathrm{Cov}(X_i, X_j) & (i \neq j)\end{cases}
\end{align*}
が成り立つ。
公式の教科書ではモーメント母関数を用いて定義している。その場合は定義に \Sigma^{-1} が出てこないので、\Sigma が半正定値 (固有値に 0 が含まれることがある、逆行列を持たない) の場合でも定義できる。
重要な性質は概ね教科書に書いてある。一部簡易化した形で記載する。
各成分の線形和の正規性
X = (X_1, \cdots, X_n) が多変量正規分布に従うとき、X_1, \cdots, X_n の任意の線型結合
a_1X_1 + \cdots + a_n X_n
は 1 次元正規分布に従う。よってこの平均、分散が分かれば線型結合の従う分布が完全にわかる。特に X_i \sim N(\mu_i, \Sigma_{ii}) である。
実は逆に、X_1, \cdots, X_n の任意の線形和が正規分布に従うならば、X は多変量正規分布に従うことが知られている (例えば。特性関数の比較により確かめられる)。(X, Y がそれぞれ 1 次元正規分布に従っていても、(X, Y) が多変量正規分布に従うとは限らない)
無相関と独立性
(X, Y) が 2 変量正規分布に従うとする。このとき X, Y が無相関ならば独立である (多変量版は教科書に書いてある)。
証明
実数値確率変数 X, Y が独立であることの定義は、任意の a, b \in \mathbb{R} に対して
P(X < a, Y < b) = P(X < a)P(Y < b)
が成り立つことである。X, Y が無相関であるとすれば、分散共分散行列は
\Sigma = \begin{pmatrix}\sigma_X^2 & 0 \\ 0 & \sigma_Y^2\end{pmatrix}
である。よって
\begin{align*}
&P(X < a, Y < b) \\
= \ & \int_{-\infty}^a\int_{-\infty}^b \frac{1}{\sqrt{(2 \pi)^2 |\Sigma|}} \exp \left(-\frac{
(x-\mu_X, y -\mu_Y)
\Sigma^{-1}\begin{pmatrix}x-\mu_X \\ y -\mu_Y\end{pmatrix}
}{2}\right) dy dx \\
= \ & \int_{-\infty}^a\int_{-\infty}^b \frac{1}{\sqrt{(2 \pi)^2 \sigma_X^2 \sigma_Y^2}} \exp \left(-\frac{
(x-\mu_X)^2\sigma_X^{-2} +(x-\mu_Y)^2\sigma_Y^{-2}
}{2}\right) dy dx \\
= \ &\int_{-\infty}^a \frac{1}{\sqrt{2 \pi\sigma_X^2}} \exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right) dx
\int_{-\infty}^b \frac{1}{\sqrt{2 \pi \sigma_Y^2}} \exp \left(-\frac{(x-\mu_Y)^2}{2\sigma_Y^2}\right) dy \\
= \ & P(X < a)P(Y < b).
\end{align*}
ガンマ分布
\alpha > 0, \beta > 0 をパラメータとする x > 0 上の確率密度関数
f(x; \alpha, \beta) = \frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha -1} \exp (-\beta x)
で与えられる確率分布をガンマ分布といい、\mathrm{Ga}(\alpha, \beta) で表す。ここで \Gamma(\alpha) はガンマ関数と呼ばれ、
\Gamma(\alpha) = \int_0^{\infty} t^{\alpha-1} \exp(-t) dt
で定義され、\Gamma(\alpha+1) = \alpha\Gamma(\alpha), \Gamma(1) = 1 を満たす。(部分積分をして t の次数を減らせば確認できる。積分が収束することは一応確認した方が良い。)
平均、分散の値
平均 \frac{\alpha}{\beta}、分散 \frac{\alpha}{\beta^2}
\beta > 0 を定数として t = \beta x とおくと
\int_0^{\infty} t^{\alpha-1} \exp(-t) dt = \int_0^{\infty} \beta^{\alpha} x^{\alpha-1} \exp(-\beta x) dx
なので f(x; \alpha, \beta) が確率密度関数であることがわかる。
平均、分散の計算
計算に困ったら部分積分で x の次数を減らせば良いが、まずはガンマ関数の式をうまく使うことを考える。
\begin{align*}
E[X] &= \int_0^{\infty} x \frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha -1} \exp (-\beta x) dx \\
&= \frac{1}{\Gamma(\alpha)} \int_0^{\infty} \beta^{\alpha} x^{\alpha} \exp (-\beta x) dx \\
&= \frac{1}{\beta \Gamma(\alpha)} \int_0^{\infty} \beta^{\alpha+1} x^{\alpha} \exp (-\beta x) dx \\
&= \frac{1}{\beta \Gamma(\alpha)} \Gamma(\alpha +1) = \frac{\alpha}{\beta}
\end{align*}
\begin{align*}
E[X^2] &= \int_0^{\infty} x^2 \frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha -1} \exp (-\beta x) dx \\
&= \frac{1}{\beta^2 \Gamma(\alpha)} \int_0^{\infty} \beta^{\alpha+2} x^{\alpha +1} \exp (-\beta x) dx \\
&= \frac{(\alpha+1)\alpha }{\beta^2}
\end{align*}
よって
V[X] = E[X^2] -E[X]^2 = \frac{\alpha^2 +\alpha}{\beta^2} -\frac{\alpha^2}{\beta^2} = \frac{\alpha}{\beta^2}
ガンマ関数の再生性
X_1 を \mathrm{Ga}(\alpha_1, \lambda) に従う確率変数、X_2 を \mathrm{Ga}(\alpha_2, \lambda) に従う確率変数で、X_2 と独立であるとすると、Y = X_1 + X_2 が従う確率分布 g(y) は、(f(x; \alpha, \beta) が x \leq 0 で 0 であるとして)
\begin{align*}
& g(y) = \int_0^{\infty} f(x_1; \alpha_1, \lambda) f(y-x_1; \alpha_2, \lambda)dx_1\\
= \ & \int_0^{y} \frac{\lambda^{\alpha_1}}{\Gamma(\alpha_1)} x_1^{\alpha_1 -1} \exp (-\lambda x_1) \frac{\lambda^{\alpha_2}}{\Gamma(\alpha_2)} (y -x_1)^{\alpha_2 -1} \exp (-\lambda (y -x_1)) dx_1 \\
= \ & \frac{\lambda^{\alpha_1+\alpha_2}\exp (-\lambda x)}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_0^{y} x_1^{\alpha_1 -1} (y -x_1)^{\alpha_2 -1} dx_1 \\
= \ & \frac{\lambda^{\alpha_1+\alpha_2}\exp (-\lambda x)}{\Gamma(\alpha_1)\Gamma(\alpha_2)}y^{\alpha_1 +\alpha_2 -1} \int_0^{1} s^{\alpha_1 -1} (1 -s)^{\alpha_2 -1} ds \quad (ys = x_1) \\
= \ & \frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1 +\alpha_2)} y^{\alpha_1 +\alpha_2 -1} \exp (-\lambda x)\\
\end{align*}
となる。よって Y はガンマ分布 \mathrm{Ga}(\alpha_1 + \alpha_2, \lambda) に従う。これをガンマ分布の再生性という。
ただしベータ関数
B(\alpha_1, \alpha_2) = \int_0^{1} x^{\alpha_1 -1} (1 -x)^{\alpha_2 -1} dx
は
B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1 + \alpha_2)}
を満たすことを使った。
指数分布との関係
\mathrm{Ga}(1, \lambda) は指数分布である。
指数分布 \mathrm{Exp}(\lambda) に従う互いに独立な確率変数 T_1, \cdots, T_k の和 T = T_1 + \cdots + T_k は、ガンマ分布の再生性から \mathrm{Ga}(k, \lambda) に従う。
ベータ分布
省略。
確率変数 U, V が独立で、U が \mathrm{Ga}(\alpha, \gamma), V が \mathrm{Ga}(\beta, \gamma) に従うとき、X = \frac{U}{U + V} はベータ分布 \mathrm{Be}(\alpha, \beta) に従う。
コーシー分布
x \in \mathbb{R} 上の確率密度関数
f(x) = \frac{1}{\pi} \frac{1}{x^2 +1}
を持つ分布をコーシー分布という。平均、分散が定まらない。
平均が定まらない理由
R_1, R_2 > 0 として
\begin{align*}
E[X] &= \lim_{R_1, R_2 \to \infty} \int_{-R_2}^{R_1} \frac{1}{\pi} \frac{x}{1 +x^2} dx \\
&= \lim_{R_1, R_2 \to \infty} \frac{1}{2\pi} \int_{-R_2}^{R_1} \frac{2x}{1 +x^2} dx \\
&= \lim_{R_1, R_2 \to \infty} \frac{1}{2\pi} \left[\log(1+x^2)\right]_{-R_2}^{R_1}\\
&= \frac{1}{2\pi} \lim_{R_1, R_2 \to \infty}\log\left(\frac{1+R_1^2}{1 +R_2^2}\right)\\
\end{align*}
であるが、これは R_1, R_2 の極限の取り方によって極限値が変わる。(R_1 = R_2 として極限を取れば 0 に収束する。R_1 = R_2^2 として極限を取れば +\infty となる。)
分散が定まらない理由
平均が求まらないので分散も定義できないが、2次モーメントも定まらない。
\begin{align*}
E[X^2] &= \int_{-\infty}^{\infty} \frac{1}{\pi} \frac{x^2}{x^2 +1}dx \\
&=\frac{1}{\pi}\int_{-\infty}^{\infty}1 -\frac{1}{x^2 +1}dx \\
\end{align*}
だが、x = \tan \theta とおけば
\int_{-\infty}^{\infty}\frac{1}{x^2 +1} dx = \pi
がわかるので、\int_{-\infty}^{\infty} 1 dx = \infty から E[X^2] = \infty となる。
カイ 2 乗分布
X_1, \cdots, X_p を標準正規分布 N(0, 1) に従う独立確率変数とする。この時 Y = X_1^2 + \cdots + X_p^2 が従う分布を自由度 p の \chi^2 分布 (カイ 2 乗分布) といい、\chi^2(p) と表す。
\chi^2(p) はガンマ分布 \mathrm{Ga}(\frac{p}{2}, \frac{1}{2}) に一致する。
平均、分散
ガンマ分布の平均分散からわかる。
E[X] = p, V[X] = 2p
ガンマ分布に一致すること
まず X を標準正規分布 N(0, 1) に従う確率変数として、Z = X^2 が従う確率分布を求める。標準正規分布の累積分布関数を F(x) とおくと、z > 0 に対して
Z \leq z \Leftrightarrow -\sqrt{z} \leq X \leq \sqrt{z}
から、Z が従う確率分布の累積分布関数 G(z) は
G(z) = F(\sqrt{z}) -F(-\sqrt{z})
である。これを z に関して微分すると
\begin{align*}
G^{\prime}(z) &= F^{\prime}(\sqrt{z}) \cdot \frac{1}{2 \sqrt{z}} -F^{\prime}(\sqrt{z})\cdot \frac{-1}{2 \sqrt{z}} \\
&= \frac{1}{\sqrt{z}} F^{\prime}(\sqrt{z}) = \frac{1}{\sqrt{z}} \frac{1}{\sqrt{2 \pi}} e^{-\frac{z}{2}} \\
&= \frac{1}{\sqrt{2 \pi}} z^{-\frac{1}{2}}e^{-\frac{z}{2}} = \frac{\left(\frac{1}{2}\right)^{\frac{1}{2}}}{\Gamma(\frac{1}{2})} z^{\frac{1}{2}-1} e^{-\frac{1}{2}z}
\end{align*}
となる。ここで F^{\prime}(x)=\frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}, \Gamma(\frac{1}{2}) = \sqrt{\pi} を用いた。これは \mathrm{Ga}(\frac{1}{2},\frac{1}{2}) の確率密度関数である。よって Z = X^2 は \mathrm{Ga}(\frac{1}{2},\frac{1}{2}) に従う。
よってガンマ分布の再生性から、自由度 p の \chi^2 分布は \mathrm{Ga}(\frac{p}{2},\frac{1}{2}) に従う。
自由度については足し算、引き算ができる。つまり Y_1, Y_2 が独立で、Y_1 が \chi^2(p_1) に従い、Y_2 が \chi^2(p_2) に従うとき Z = Y_1 + Y_2 は \chi^2(p_1 + p_2) に従う。
また、Y_1, Y_2 が独立で、Y_1 が \chi^2(p_1) に従い、Z = Y_1 + Y_2 が \chi^2(q) に従うとき、Y_2 は \chi^2(q -p_1) に従う。
自由度の足し算、引き算について
自由度の足し算についてはガンマ分布の再生性から従う。
引き算については特性関数の一意性、つまり 2 つの確率変数の特性関数が一致すれば、それらが従う分布が一致することを用いる (特性関数の代わりにモーメント母関数を使っても良い)。
X, Y が独立な確率変数であるとき e^{itX}, e^{itY} も独立なので、E[e^{itX}e^{itY}] = E[e^{itX}]E[e^{itY}] を満たす。よって特性関数 \varphi_{X+Y} (t) は
\begin{align*}
\varphi_{X+Y} (t) &= E[e^{it(X+Y)}] = E[e^{itX}e^{itY}] \\
&= E[e^{itX}]E[e^{itY}] =\varphi_{X}(t) \varphi_{Y}(t)
\end{align*}
を満たす。よって \varphi_{X+Y} (t) /\varphi_{X}(t) の形を見れば Y が従う分布がわかる。
一般に、ガンマ分布 \mathrm{Ga}(\alpha, \beta) に従う確率変数 X の特性関数 \varphi_X(t) は
\begin{align*}
\varphi_X(t) &= E[e^{itX}] = \int_0^{\infty} e^{itx} \frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} dx \\
&= \frac{\beta^{\alpha}}{\Gamma(\alpha)} \int_0^{\infty} x^{\alpha-1} e^{-(\beta -it) x} dx \\
&= \frac{\beta^{\alpha}}{\Gamma(\alpha)} \int_0^{\infty} \frac{1}{(\beta -it)^{\alpha}} y^{\alpha-1} e^{-y} dy \quad (y = (\beta -it)x) \\
&= \frac{\beta^{\alpha}}{\Gamma(\alpha)} \frac{1}{(\beta -it)^{\alpha}} \Gamma(\alpha) \\
&= \frac{\beta^{\alpha}}{(\beta -it)^{\alpha}} = \frac{1}{(1 -\frac{1}{\beta} it)^{\alpha}}
\end{align*}
となる (途中で複素関数の置換積分をしているが、実は自明ではない。y は確かに 0 から \infty だが、経路が違う。そこに関してはモーメント母関数の方が簡単かも)。
置換積分が正しいことの証明
曲線 C: z(s) = c(s) \ (s_1 \leq s \leq s_2) に沿った f(z) の複素積分は
\int_C f(z) dz = \int_{s_1}^{s_2} f(s) c^{\prime}(s)ds
と定義される。この積分は曲線のパラメーター表示によらない。
1 対 1 の変換 z = \varphi(w), w = \varphi^{-1}(z) による置換積分
\int_C f(z) dz = \int_{\Gamma} f(\varphi(w)) \frac{dz}{dw}dw
が成り立つが、積分経路が変わる。\Gamma は
\Gamma: w(s) = \varphi^{-1}(c(s)) \ \ (s_1 \leq s \leq s_2)
で与えられる曲線である。
先ほどの置換積分では 0 から実数軸に沿って \infty に動く曲線が、0 から \beta -it 方向に \infty に進む曲線に変換されるので、置換積分で得られるのはこの曲線に沿った積分でがある。一方先ほどの計算では、それが 0 から実数軸に沿って \infty に動く曲線に沿った積分と正しいとしていた。これを示す必要がある。
関数 f(z) = z^{\alpha-1}e^{-z} を、u > 0 を固定して 3 つの曲線
\begin{align*}
&C_1: z(s) = (\beta -it)s && (0 \leq s \leq u) \\
&C_2: z(s) = s && (0 \leq s \leq \beta u) \\
&C_3: z(s) = \beta u - is && (0 \leq s \leq t u)
\end{align*}
に沿って積分する。C_2 は x 軸に沿って動き、C_3 は C_2 の終端から y 軸に平行に C_1 の終端に向かう。計算すると
\begin{align*}
\int_{C_1} f(z) dz &= \int_0^{u} (\beta-it)^{\alpha-1}s^{\alpha-1} e^{-(\beta-it)s} (\beta-it) ds \\
&= (\beta-it)^{\alpha} \int_0^{u} s^{\alpha-1} e^{-(\beta-it)s} ds \\
\int_{C_2} f(z) dz &= \int_0^{u} s^{\alpha-1} e^{-s} ds \\
\int_{C_3} f(z) dz &= \int_0^{u} (\beta u - is)^{\alpha-1} e^{-\beta u - is} ds \\
&= e^{-\beta u} \int_0^{u} (\beta u - is)^{\alpha-1} e^{- is} ds
\end{align*}
となる。また、z^{\alpha-1} e^{-z} は (z^{\alpha-1} :=e^{(\alpha-1)\mathrm{Log} z} に注意して) C_1, C_2, C_3 が囲う領域で正則である (もう少し広く、\Re z > 0 で正則である) ので、コーシーの積分定理から
\int_{C_1} f(z) dz = \int_{C_2} f(z) dz + \int_{C_3} f(z) dz
が成り立つ。ここで u \to \infty とすると、\int_{C_3} f(z) dz の積分の部分は高々 \alpha 次で、e^{-\beta u} がかかっているので \int_{C_3} f(z) dz は 0 に収束する。したがって
\int_0^{\infty} s^{\alpha-1} e^{-(\beta-it)s} ds = \frac{1}{(\beta-it)^{\alpha} } \int_0^{\infty} s^{\alpha-1} e^{-s} ds
が成り立つ。
よって確率変数 X_1, X_2 が独立で、X_1 が \mathrm{Ga}(\alpha_1, \beta), X_1 + X_2 が \mathrm{Ga}(\alpha_2, \beta) に従うとき、X_2 の特性関数は
\begin{align*}
\varphi_{X_2}(t) &= \frac{1}{(1 -\frac{1}{\beta} it)^{\alpha_2}} \cdot (1 -\frac{1}{\beta} it)^{\alpha_1} \\
&= \frac{1}{(1 -\frac{1}{\beta} it)^{\alpha_2-\alpha_1}}
\end{align*}
となる。したがって特性関数の一意性から X_2 は \mathrm{Ga}(\alpha_2 -\alpha_1, \beta) に従う。
\chi^2 分布については、X_1, X_2 が独立で、X_1 が \chi^2(p), X_1 + X_2 が \chi^2(q) に従うとき、\alpha_1 = \frac{p}{2}, \alpha_1 = \frac{q}{2} とおけば X_2 は \mathrm{Ga}(\frac{q}{2}-\frac{p}{2}, \frac{1}{2}) = \chi^2(q-p) に従う。
より一般に特性関数がパラメーター \alpha に対して f(t)^{g(t) \alpha} という形で表されるとき、同様の性質を持つ。
これから、X_1, \cdots, X_n が正規分布 N(0, 1) に従う独立確率変数であるとき、標本分散の n 倍である
\begin{gather*}
\sum_{i=1}^n (X_i -\bar{X})^2 \quad (ただし \bar{X} = \frac{1}{n} \sum_{i=1}^n X_n)
\end{gather*}
は \chi^2(n-1) に従うことがわかる。
標本分散の自由度の計算
\begin{align*}
\sum_{i=1}^n (X_i -\bar{X})^2 &= \sum_{i=1}^n X_i^2 -2 \bar{X}\sum_{i=1}^n X_i + n\bar{X}^2 \\
&= \sum_{i=1}^n X_i^2 -n \bar{X}^2\\
\end{align*}
となる。\sum_{i=1}^n X_i^2 は \chi^2(n) に従う。また
\sqrt{n}\bar{X} = \frac{\sum_{i=1}^n X_i}{\sqrt{n}}
は正規分布 N(0, 1) に従うので、n \bar{X}^2 は \chi^2(1) に従う。さらに、\sum_{i=1}^n (X_i -\bar{X})^2 と \bar{X} は独立である (後で証明)。よって \sum_{i=1}^n (X_i -\bar{X})^2 は \chi^2(n-1) に従う。
標本平均と標本分散の独立性
X_1, \cdots, X_n が N(\mu, \sigma^2) に従う独立な確率分布であるとき、標本平均、標本分散
\begin{gather*}
\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \\
V = \frac{1}{n} \sum_{i=1}^n (X_i-\bar{X})^2
\end{gather*}
が独立であることを示す。
まず X = {}^t (X_1, \cdots, X_n) は多変量正規分布である (分散共分散行列が単位行列)。直行行列 A に対して Y = {}^t (Y_1, \cdots, Y_n) = AX とおくと、Y_i は互いに独立である。実際、A の i 行目の行ベクトルを a_{i\cdot} とおくと
Y_i = a_{i\cdot} \cdot X = \sum_{k=1}^n a_{i k} X_k
であり、Y_i と Y_j の共分散は、i \neq j として
\mathrm{Cov}(Y_i, Y_j) = \sum_{k=1}^n a_{ik} a_{jk} V[X_k] = a_{i\cdot} \cdot a_{j\cdot} = 0
となる。ここで、\mathrm{Cov}(X_k, X_l) = 0 と、A の行ベクトルが互いに直行していることを用いた。Y は多変量正規分布かつ Y_i と Y_j は無相関なので、独立である。
直行行列 A として 1 行目の成分が全て \frac{1}{\sqrt{n}} であるものをとると
Y_1 = \frac{1}{\sqrt{n}} \sum_{i=1}^n X_i = \sqrt{n} \bar{X}
である。また、A の直行性から各列ベクトルの長さが 1 なので
\sum_{k=1}^n Y_k^2 = \sum_{k=1}^n \sum_{l=1}^n a_{k l}^2 X_l^2 = \sum_{l=1}^n \left(\sum_{k=1}^n a_{k l}^2\right) X_l^2 = \sum_{l=1}^nX_l^2
となる (直行行列はベクトルの長さを変えない)。
ここで、
\sum_{i=1}^n (X_i-\bar{X})^2 = \sum_{i=1}^n X_i^2 -n\bar{X}^2 = \sum_{i=1}^n Y_i^2 -Y_1^2 = \sum_{i=2}^n Y_i^2
から
V = \frac{1}{n} \sum_{i=2}^n Y_i^2
となる。これは Y_1 と独立なので、V と \bar{X} も独立となる。
t 分布
Z を N(0, 1) に従う確率分布、W を Z と独立で、\chi^2(p) に従う確率分布とする。このとき X = Z/\sqrt{\frac{W}{p}} が従う確率分布を自由度 p の t 分布といい、t(p) と表す。
確率密度関数は
f(x; p) = \frac{1}{\sqrt{p}B(\frac{1}{2}, \frac{1}{2})} \left(1 +\frac{x^2}{p}\right)^{-\frac{p+1}{2}}
で与えられる。t(1) は (B(\frac{1}{2}, \frac{1}{2}) = \pi に注意して) コーシー分布に一致する。
平均、分散
p > 1 のとき、平均 E[X] = 0
p > 2 のとき、分散 V[X] = \frac{p}{p-2}
それ以外では存在しない。
確率密度関数の計算
平均、分散の計算
X_1, \cdots, X_n を N(\mu, \sigma^2) に従う独立な確率分布とする。標本平均 \bar{X}, 不偏分散 V は
\begin{gather*}
\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \\
V = \frac{1}{n-1} \sum_{i=1}^n (X_i-\bar{X})^2
\end{gather*}
である。\frac{X_i -\mu}{\sigma} \sim N(0, 1) に注意して
\begin{gather*}
\frac{1}{\sqrt{n}} \sum_{i=1}^n \frac{X_i-\mu}{\sigma} = \frac{\sqrt{n} (\bar{X} -\mu)}{\sigma} \sim N(0, 1) \\
\sum_{i=1}^n \frac{(X_i-\mu)^2}{\sigma^2} = \frac{(n-1) V}{\sigma^2} \sim \chi^2(n-1)
\end{gather*}
であり、さらに \bar{X} と V は独立であることから
\frac{\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}}{\sqrt{\frac{(n-1) V}{\sigma^2} \cdot \frac{1}{n-1}}} = \sqrt{n} \frac{\bar{X} -\mu}{V} \sim t(n-1)
となる。これは \sigma に依存しないため、分散が未知の場合の平均に関する検定に用いられる。
F 分布
[記述は荒め]
U, V を独立な確率変数で、U \sim \chi^2(p), V \sim \chi^2(q) とする。確率変数 (U/p) / (V/q) が従う分布を自由度 (p, q) の F 分布といい、F(p, q) という。X が t(p) に従うとき、X^2 は F(1, p) に従う。
確率密度関数は
f(x; p, q) = \frac{1}{B(\frac{p}{2}, \frac{q}{2})} \frac{x^{\frac{p}{2}-1}}{(x+1)^{\frac{p+q}{2}}}
である。
X_1, \cdots, X_m を N(\mu_x, \sigma_x^2) に従う独立確率変数、Y_1, \cdots, Y_n を N(\mu_y, \sigma_y^2) に従う独立確率変数とし、不偏分散をそれぞれ V_x, V_y とおく、(m-1)\frac{V_x}{\sigma_x^2} は \chi^2(m-1) に, (n-1)\frac{V_y}{\sigma_y^2} は \chi^2(n-1) に従うので、\frac{\sigma_y^2}{\sigma_x^2} \frac{V_x}{V_y} は F(m-1, n-1) に従う。分散が既知で、\mu_x, \mu_y に関する検定を行うときに使われることがある。
Discussion