損失関数の微分

はじめに

記事内容は筆者の勉強まとめ内容です。内容の正確さや漏れについては保証できません。
ご覧いただく際は、ご自身で判断のうえ参考にしてください。

概要

• シラバス：E資格2024#2
• 損失関数の微分結果を覚える

モデル訓練のステップ

1. アーキテクチャの設計
2. 入力層設計
3. 中間層設計
4. 出力層設計
5. 誤差計算
6. モデルに誤差を反映する
7. 重みの更新の設定をする
8. 最適なモデルを手に入れる

キーワード

なし

学習内容

バイナリクロスエントロピーの微分

$$\mathcal{L}(y, \hat{y}) = - \sum_{i=1}^{n} \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right]$$

$$\frac{\partial \mathcal{L}}{\partial \hat{y}} = \frac{\hat{y} - y}{\hat{y}(1 - \hat{y})}$$

クロスエントロピーの微分

$$\mathcal{L}(t, y) =- \sum_{k=1}^{K} t_k \log(y_k)$$

$$\frac{\partial \mathcal{L}}{\partial y_k} = -\frac{t_k}{y_k}$$

暗記しよう