👌

【E資格対策】情報理論で覚えるべき「暗記式」まとめ

に公開
E資格
idea

深層学習の基礎となる情報理論の分野で、E資格の試験問題を解くために最低限暗記しておくべき定義と性質をまとめました。

1. 情報量の基礎

自己情報量 (Self-Information)

「その事象が起きた時の驚きの度合い」です。確率が低いほど情報量は大きくなります。

I(x) = -\log P(x) = \log \frac{1}{P(x)}

平均情報量 (Entropy / エントロピー)

自己情報量の期待値です。確率分布の「不確実性（乱雑さ）」を表します。

H(X) = -\sum_{i} P(x_i) \log P(x_i)

2. 確率分布間の距離・類似度

カルバック・ライブラー (KL) ダイバージェンス

2つの確率分布 P（真の分布）と Q（モデルの分布）の違いを測る指標です。「相対エントロピー」とも呼ばれます。

\begin{aligned} D_{KL}(P||Q) &= \sum_{i} P(x_i) \log \frac{P(x_i)}{Q(x_i)} \\ &= \sum_{i} P(x_i) (\log P(x_i) - \log Q(x_i)) \end{aligned}

【試験に出る重要性質】

  • 非対称である: D_{KL}(P||Q) \neq D_{KL}(Q||P) （距離の公理を満たさないため、「距離」ではなく「ダイバージェンス」と呼ばれる）。
  • 常に 0 以上であり、分布が完全に一致する時のみ 0 になる。

ジェンセン・シャノン (JS) ダイバージェンス

KLダイバージェンスの「非対称」という扱いづらさを修正した指標です。JSダイバージェンスは、2つのKLダイバージェンスの平均で定義されます。

【試験に出る重要性質】

  • 対称性がある: D_{JS}(P||Q) = D_{JS}(Q||P)
  • 有界である: 値が常に 0 \le D_{JS} \le 1 （底が2の場合）の範囲に収まる。

3. 損失関数との関係

交差エントロピー (Cross Entropy)

分類問題の損失関数として頻出です。

H(P, Q) = -\sum_{i} P(x_i) \log Q(x_i)

【重要関係式】

H(P, Q) = H(P) + D_{KL}(P||Q)

ここで、各項の意味は以下の通りです。

  • H(P, Q) : 交差エントロピー
  • H(P) : エントロピー（平均情報量）
  • D_{KL}(P||Q) : KLダイバージェンス

訓練データ（真の分布 P）は固定されているため、エントロピー H(P) は定数となります。
したがって、「交差エントロピー誤差を最小化すること」は「KLダイバージェンスを最小化すること（分布を近づけること）」と同義です。

Discussion