参考

• 【徹底解説】EMアルゴリズムをはじめからていねいに - Academaid
• EMアルゴリズム#1 混合ガウス分布の最尤推定
• 「ゼロから作るDeepLearning ⑤」（オライリー・ジャパン）

混合ガウスモデル (GMM)

GMMとは

混合ガウスモデルとは，複数のガウス分布を組合せたモデルである．

K 個のガウス分布からなるGMMからのサンプリングを以下のように行う

1. 1 から K までのガウス分布のなかからある確率変数にしたがって一つ選ぶ
2. 選んだガウス分布からデータをサンプリングする

これに基づいてGMMを式で表したい．

---

K 個の正規分布がパラメータ \boldsymbol{\mu}, \boldsymbol{\Sigma} を用いて

\begin{align*} \boldsymbol{\mu} &= \{\mu_1, \mu_2, \ldots, \mu_K\}\\ \boldsymbol{\Sigma} &= \{\Sigma_1, \Sigma_2, \ldots, \Sigma_K\} \end{align*}

を用いて表されるとする．

また，i 番目のガウス分布が確率 \phi_i ~ (\sum\phi_i = 1) で選ばれるとすると，値 \boldsymbol{x} の確率分布は，

p(\boldsymbol{x}) = \sum_{k = 1}^K \phi_k \mathcal{N}(\boldsymbol{x}; \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)

となる．

KLダイバージェンス