学習の問題と対策

はじめに

記事内容は筆者の勉強まとめ内容です。内容の正確さや漏れについては保証できません。
ご覧いただく際は、ご自身で判断のうえ参考にしてください。

概要

• シラバス：E資格2024#2
• モデルの学習で発生する問題と対策を理解する

モデル訓練のステップ

1. アーキテクチャの設計
2. 入力層設計
3. 中間層設計
4. 出力層設計
5. 誤差計算
6. モデルに誤差を反映する
7. 重みの更新の設定をする
8. 最適なモデルを手に入れる

キーワード

容量, 過剰適合, 過小適合, スパース表現

学習内容

問題と対策

学習が進まない原因	対策
容量と過剰適合・過小適合	入力データの改善
データが少ない	データの拡張
ラベルがない	半教師あり学習
過学習・次元の呪い	正則化項
勾配消失	活性化関数/勾配降下法の選択
教師あり学習のラベル間違い	出力目標に対するノイズの注入
複合性が高い問題/計算コストが高い	事前学習
ハイパーパラメータの探索	グリッドサーチ/ランダムサーチ/早期終了
過学習（過剰適合）	スパース表現

容量(capacity)

• モデルが学習できる関数の複雑さや表現力の大きさを指す
• 容量が高いほど複雑なデータパターンを学習できるが、過剰適合のリスクも高くなる

過剰適合(overfitting)

• 未知のデータに対しては性能が下がる状態である
• 一般的に「覚えすぎて汎化できない」状態を指す
• 原因はモデルが複雑すぎる、データ不足

過小適合(underfitting)

• モデルが学習データの傾向すらうまく捉えられていない状態
• 原因はモデルが単純すぎる、学習不足、正則化が強すぎる

スパース表現(sparse representation)

• 重要な要素だけを残して、他はゼロにする