転移学習に関する文献を整理

Bag of Tricks for Image Classification with CNNs

まとめたい内容

1. 転移学習とファインチューニング
   1. ベースモデルの固定
   2. ベースモデルの固定 + ファインチューニング
   3. 初期値としての利用
2. モデルの選定
   1. ImageNet における精度との相関
   2. 推論速度／計算量
3. 入力データの前処理
   1. 入力画像サイズ
   2. RandAugment
   3. CutMix /MixUp
4. 最適化アルゴリズム
   1. Adam / NAdam
   2. RAdam
   3. SGD
   4. Weight Decay
   5. Learning Rate Scheduler
   6. warm up
5. 損失関数
   1. Label Smoothing
6. バッチ正規化
   1. trainable と training フラグとバッチ正規化の挙動
   2. 重み固定時のバッチ正規化
   3. ファインチューニング時のバッチ正規化
   4. γパラメータの影響
7. ハイパーパラメーター探索と実験管理
   1. Optuna
   2. MLflow