Open8

転移学習に関する文献を整理

Bag of Tricks for Image Classification with CNNs

まとめたい内容

  1. 転移学習とファインチューニング
    1. ベースモデルの固定
    2. ベースモデルの固定 + ファインチューニング
    3. 初期値としての利用
  2. モデルの選定
    1. ImageNet における精度との相関
    2. 推論速度/計算量
  3. 入力データの前処理
    1. 入力画像サイズ
    2. RandAugment
    3. CutMix /MixUp
  4. 最適化アルゴリズム
    1. Adam / NAdam
    2. RAdam
    3. SGD
    4. Weight Decay
    5. Learning Rate Scheduler
    6. warm up
  5. 損失関数
    1. Label Smoothing
  6. バッチ正規化
    1. trainable と training フラグとバッチ正規化の挙動
    2. 重み固定時のバッチ正規化
    3. ファインチューニング時のバッチ正規化
    4. γパラメータの影響
  7. ハイパーパラメーター探索と実験管理
    1. Optuna
    2. MLflow
ログインするとコメントできます