計算グラフ:クロスエントロピー

クロスエントロピーの定義

z = -\frac{1}{N} \sum_{i,j} t_{i,j} \log y_{i,j}

$t_{i,j}$ はラベルをone-hot表現したもの。

\sum_{j} t_{i, j} = 1

クロスエントロピーを計算グラフで書くとこんな感じ。赤字の微分の結果は今まで作ってきたルールからただちに書き下せる。

\begin{aligned} \frac{\partial L}{\partial v_{i,j}} = \frac{\partial L}{\partial v_{i}} = \frac{\partial L}{\partial w} = \lambda \frac{\partial L}{\partial z} \end{aligned}

\begin{aligned} \frac{\partial L}{\partial u_{i,j}} = t_{i,j} \frac{\partial L}{\partial v_{i,j}} = \lambda t_{i,j} \frac{\partial L}{\partial z} \end{aligned}

\begin{aligned} \frac{\partial L}{\partial y_{i,j}} = \frac{1}{y_{i,j}} \frac{\partial L}{\partial u_{i,j}} = \lambda \frac{t_{i,j}}{y_{i,j}} \frac{\partial L}{\partial z} = -\frac{1}{N} \frac{t_{i,j}}{y_{i,j}} \frac{\partial L}{\partial z} \end{aligned}

ルールとしては、次のように書ける。

このスクラップは2021/03/16にクローズされました