階層モデルとは

条件付き確率密度関数

f_{X,Y}(x,y) = f_{X|Y}(X|Y)f_Y(y)

を、

X|Y = y \sim f_{X,Y}(x,y) \\ Y \sim f_Y(y)

という形で階層的に表したもの。

具体例

ガンマ・ポアソン分布

X|Y \sim Po(Y) \\ Y \sim Ga(\alpha, \beta)

を考えたときの、Xの周辺分布はガンマ・ポアソン分布と呼ばれる。ポアソン分布において、そのパラメータ\lambdaがガンマ分布に従っている状況を表す。

f(k) = P(X=k) = \frac{\lambda^k}{k!} e^{-\lambda} \ (k=0,1,2,\ldots) \\ g(\lambda) = \frac{\beta^{\alpha}}{\Gamma({\alpha})} \lambda^{\alpha-1}e^{-\beta\lambda} \\ \Gamma(\alpha) = \int_0^{\infin} t^{\alpha - 1}e^{-t} dt

Xの周辺確率P(X=k)は、

\int_0^{\infin} P(X=k | \Lambda=\lambda)g(\lambda) d \lambda \\ = \int_0^{\infin} \frac{\lambda^k}{k!} e^{-\lambda} \frac{\beta^{\alpha}}{\Gamma({\alpha})} \lambda^{\alpha-1}e^{-\beta\lambda} d \lambda \\ = \frac{\beta^{\alpha}}{\Gamma({\alpha}) k!} \int_0^{\infin} \lambda^{\alpha + k - 1} e^{-(\beta + 1)\lambda} d \lambda \\

ここで、最後の積分をガンマ関数だと思いたいので、y = (\beta + 1)\lambdaとおき、計算を進める。

\frac{\beta^{\alpha}}{\Gamma({\alpha}) k!} \int_0^{\infin} (\frac{y}{\beta + 1})^{\alpha + k - 1} e^{-y} (\beta+1)dy \\ \frac{ \Gamma(\alpha + k) \beta^{\alpha}}{\Gamma({\alpha}) k! (\beta+1)^{\alpha + k}}

\alphaが整数であれば、\Gamma(\alpha+1) = \alpha!であるから、

\frac{ \beta^{\alpha} (\alpha + k -1) (\alpha + k -2) \cdots \alpha \cdot (\alpha - 1)(\alpha - 2) \cdots 1 } {k! (\beta+1)^{\alpha + k} (\alpha - 1)(\alpha - 2) \cdots 1 } \\ = \frac{ \beta^{\alpha} (\alpha + k -1) (\alpha + k -2) \cdots \alpha }{k! (\beta+1)^{\alpha + k}} \\ = \binom{\alpha + k - 1}{k} (\frac{\beta}{\beta + 1})^\alpha (\frac{1}{\beta + 1})^k

これは、負の二項分布（NB(\alpha, 1/(\beta+1))）と一致する。

負の二項分布NB(r, p)とは、成功確率がpである独立なベルヌーイ試行を繰り返し、r回成功するまでに失敗する回数の分布。

P(X=k|r,p) = \binom{r + k - 1}{k} p^r(1-p)^k

ベータ・二項分布

X|Y \sim Bin(n, Y) \\ Y \sim Beta(\alpha, \beta)

を考えたときの、Xの周辺分布は、ベータ・二項分布と呼ばれる。二項分布において、そのパラメータYがベータ分布にしたがっている状況を表す。

f_X(x) = P(X=x) = \int_0^1 \binom{n}{x} y^x (1-y)^{n-x} \frac{1}{B(\alpha, \beta)} y^{\alpha-1} (1-y)^{\beta - 1} dy \\ B(\alpha,\beta) = \int_0^1 t^{\alpha-1}(1-t)^{\beta-1}dt

周辺確率関数の計算を行う。ポイントは、ベータ関数を作ること。

f_X(x) = P(X=x) = \int_0^1 \binom{n}{x} y^x (1-y)^{n-x} \frac{1}{B(\alpha, \beta)} y^{\alpha-1} (1-y)^{\beta - 1} dy \\ = \binom{n}{x} \frac{1}{B(\alpha, \beta)} \int_0^1 y^x (1-y)^{n-x} y^{\alpha-1} (1-y)^{\beta - 1} dy \\ = \binom{n}{x} \frac{1}{B(\alpha, \beta)} \int_0^1 y^{x + \alpha - 1} (1-y)^{n + \beta - x - 1} \\ = \binom{n}{x} \frac{1}{B(\alpha, \beta)} B(x + \alpha, n + \beta - x)

よって、

f_X(x) = \binom{n}{x} \frac{B(x+\alpha, n-x+\beta)}{B(\alpha, \beta)} \\