Zenn
Closed5

計算グラフ:クロスエントロピー

nabeyangnabeyang

クロスエントロピーの定義

z=−1N∑i,jti,jlog⁡yi,j z = -\frac{1}{N} \sum_{i,j} t_{i,j} \log y_{i,j}

ti,jt_{i,j} はラベルをone-hot表現したもの。

∑jti,j=1 \sum_{j} t_{i, j} = 1

クロスエントロピーを計算グラフで書くとこんな感じ。赤字の微分の結果は今まで作ってきたルールからただちに書き下せる。

nabeyangnabeyang
∂L∂vi,j=∂L∂vi=∂L∂w=λ∂L∂z \begin{aligned} \frac{\partial L}{\partial v_{i,j}} = \frac{\partial L}{\partial v_{i}} = \frac{\partial L}{\partial w} = \lambda \frac{\partial L}{\partial z} \end{aligned}
nabeyangnabeyang
∂L∂ui,j=ti,j∂L∂vi,j=λti,j∂L∂z \begin{aligned} \frac{\partial L}{\partial u_{i,j}} = t_{i,j} \frac{\partial L}{\partial v_{i,j}} = \lambda t_{i,j} \frac{\partial L}{\partial z} \end{aligned}
nabeyangnabeyang
∂L∂yi,j=1yi,j∂L∂ui,j=λti,jyi,j∂L∂z=−1Nti,jyi,j∂L∂z \begin{aligned} \frac{\partial L}{\partial y_{i,j}} = \frac{1}{y_{i,j}} \frac{\partial L}{\partial u_{i,j}} = \lambda \frac{t_{i,j}}{y_{i,j}} \frac{\partial L}{\partial z} = -\frac{1}{N} \frac{t_{i,j}}{y_{i,j}} \frac{\partial L}{\partial z} \end{aligned}
このスクラップは2021/03/16にクローズされました
作成者以外のコメントは許可されていません