多変量正規事前分布を仮定
(a) 事前分布。(b) 事後分布。
正規分布に従う残差を仮定した場合の線形回帰モデル
\begin{aligned}
p(\bm y | \bm X, \bm w)
= \mathcal N_D(\bm y | \bm X \bm w, \sigma^2 \bm I_D)
\end{aligned}
に対し、パラメータ \bm w の事前分布として多変量正規分布を仮定する。
\begin{aligned}
p(\bm w)
&= \mathcal N_N(\bm w | \bm m_0, \bm V_0) \\
&\propto
\exp \left( -\frac{1}{2} (\bm w - \bm m_0)^\mathsf{T} \bm V_0^{-1} (\bm w - \bm m_0) \right)
\end{aligned}
このときの事後分布を計算してみよう。
\begin{aligned}
p(\bm w | \bm X, \bm y)
\propto{}& p(\bm y | \bm X, \bm w) p(\bm w) \\
={}&
\mathcal N_D(\bm y | \bm X \bm w, \bm I_D) \mathcal N_N(\bm w | \bm m_0, \bm V_0) \\
\propto{}&
\exp \left( -\frac{1}{2\sigma^2} \|\bm y - \bm X \bm w\|_2^2 \right)
\exp \left( -\frac{1}{2} (\bm w - \bm m_0)^\mathsf{T} \bm V_0^{-1} (\bm w - \bm m_0) \right) \\
={}&
\exp \left(
- \frac{1}{2} \underbrace{\left(
\frac{1}{\sigma^2} \|\bm y - \bm X \bm w\|_2^2 + (\bm w - \bm m_0)^\mathsf{T} \bm V_0^{-1} (\bm w - \bm m_0)
\right)}_{(1)}
\right) \\
&\left|\small\quad\begin{aligned}
(1) ={}&
\frac{1}{\sigma^2} \|\bm y - \bm X \bm w\|_2^2
+ (\bm w - \bm m_0)^\mathsf{T} \bm V_0^{-1} (\bm w - \bm m_0) \\
={}&
\bm w^\mathsf{T} \frac{1}{\sigma^2} \bm X^\mathsf{T} \bm X \bm w
+ \bm w^\mathsf{T} \frac{1}{\sigma^2} \bm V_0^{-1} \bm w
- 2 \bm w^\mathsf{T} \frac{1}{\sigma^2} \bm X^\mathsf{T} \bm y
- 2 \bm w^\mathsf{T} \bm V_0^{-1} \bm m_0
+ \mathrm{const.} \\
={}&
\bm w^\mathsf{T}
\underbrace{\left(
\frac{1}{\sigma^2} \bm X^\mathsf{T} \bm X + \bm V_0^{-1}
\right)}_{\bm V_w^{-1}}
\bm w
- 2 \bm w^\mathsf{T}
\underbrace{\left(
\frac{1}{\sigma^2} \bm X^\mathsf{T} \bm y + \bm V_0^{-1} \bm m_0
\right)}_{\bm V_w^{-1} \bm m_w}
+ \mathrm{const.} \\
={}&
\bm w^\mathsf{T} \bm V_w^{-1} \bm w - 2 \bm w^\mathsf{T} \bm V_w^{-1} \bm m_w + \mathrm{const.} \\
={}&
(\bm w - \bm m_w)^\mathsf{T} \bm V_w^{-1} (\bm w - \bm m_w) + \mathrm{const.}
\end{aligned}\right. \\
\propto{}& \exp \left( -\frac{1}{2} (\bm w - \bm m_w)^\mathsf{T} \bm V_w^{-1} (\bm w - \bm m_w) \right) \\
\propto{}& \mathcal N_N (\bm w | \bm m_w, \bm V_w)
\end{aligned}
よって事後分布は次のようになる。
p(\bm w | \bm X, \bm y) = \mathcal N_N(\bm w | \bm m_w, \bm V_w)
\left\lbrace\begin{aligned}
\bm m_w &= \bm V_w \left( \frac{1}{\sigma^2} \bm X^\mathsf{T} \bm y + \bm V_0^{-1} \bm m_0 \right) \\
\bm V_w^{-1} &= \frac{1}{\sigma^2} \bm X^\mathsf{T} \bm X + \bm V_0^{-1}
\end{aligned}\right.
共役事前分布
このように、正規分布を尤度関数として採用し、事前分布として多変量正規分布を使用した場合、事後分布もまた多変量正規分布となる。
一般に、尤度関数 p(\mathcal D | w) に対して事前分布 p(w) と事後分布 p(w | \mathcal D) が同じ形である場合、事前分布 p(w) を尤度関数 p(\mathcal D | w) の 共役事前分布 (conjugate prior) という。特に、尤度関数、事前分布、事後分布ともに同じ 分布族 (family) に属す場合、自然共役 (natural conjugate) であるといわれる。
今回の場合は、正規分布 (事前分布) は正規分布 (尤度関数) の自然共役事前分布であるという事実に由来する。
|
分布 |
分布族 |
| p(w) |
正規分布 |
指数分布族 |
| p(\mathcal D | w) |
正規分布 |
指数分布族 |
| p(w | \mathcal D) |
正規分布 |
指数分布族 |
まとめ
Discussion