Zenn
Closed7

計算グラフ:ソフトマックス+クロスエントロピー

nabeyangnabeyang

ソフトマックスの後にクロスエントロピーが来る計算グラフは、内部構造を書かない場合、このような感じになる。

nabeyangnabeyang

ソフトマックスの定義は次の通り。

\begin{aligned} y_{i,j} &= \frac{s_{i,j}}{S_{i}}\\ s_{i,j} &= \exp(a_{i,j})\\ S_{i} &= \sum_{j} s_{i,j} \end{aligned}

ソフトマックスの定義に従って計算グラフを書き、今まで作ったルールを元に書き込む。ただし、クロスエントロピーと接続されていることを前提とする。

nabeyangnabeyang
\begin{aligned} \frac{\partial L}{\partial Q_{i}} &= \sum_{j} s_{i,j} \frac{\partial L}{\partial y_{i,j}}\\ &= \sum_{i,j} s_{i,j} \left(- \frac{1}{N}\right) \frac{t_{i,j}}{y_{i,j}} \frac{\partial L}{\partial z}\\ &= - \frac{1}{N} \sum_{j} t_{i,j} S_{i} \frac{\partial L}{\partial z}\\ &= - \frac{S_{i}}{N} \left(\sum_{j} t_{i,j}\right) \frac{\partial L}{\partial z}\\ &= - \frac{S_{i}}{N} \frac{\partial L}{\partial z} \end{aligned}
nabeyangnabeyang
\begin{aligned} \frac{\partial L}{\partial S_{i}} &= - Q_{i}^{2} \frac{\partial L}{\partial Q_{i}}\\ &= - \frac{1}{S_{i}^{2}} \left(-\frac{S_{i}}{N}\right) \frac{\partial L}{\partial z}\\ &= \frac{1}{NS_{i}} \frac{\partial L}{\partial z} \end{aligned}
nabeyangnabeyang
\begin{aligned} \frac{\partial L}{\partial s_{i,j}} &= \frac{\partial L}{\partial S_{i}} + Q_{i}\frac{\partial L}{\partial y_{i,j}}\\ &= \frac{1}{NS_{i}} \frac{\partial L}{\partial z} + \frac{1}{S_{i}}\left(-\frac{1}{N}\frac{t_{i,j}}{y_{i,j}}\right)\frac{\partial L}{\partial z}\\ &= \frac{1}{NS_{i}y_{i,j}}(y_{i,j} - t_{i,j}) \frac{\partial L}{\partial z} \end{aligned}
nabeyangnabeyang
\begin{aligned} \frac{\partial L}{\partial a_{i,j}} &= s_{i,j} \frac{\partial L}{\partial s_{i,j}}\\ &= s_{i,j} \frac{1}{NS_{i}y_{i,j}}(y_{i,j} - t_{i,j}) \frac{\partial L}{\partial z}\\ &= \frac{1}{N}\left( \frac{s_{i,j}}{S_{i}} \right) \frac{1}{y_{i,j}}(y_{i,j} - t_{i,j}) \frac{\partial L}{\partial z}\\ &= \frac{1}{N} y_{i,j} \frac{1}{y_{i,j}}(y_{i,j} - t_{i,j}) \frac{\partial L}{\partial z}\\ &= \frac{1}{N}(y_{i,j} - t_{i,j}) \frac{\partial L}{\partial z} \end{aligned}
このスクラップは2021/03/16にクローズされました