📌
GoogLeNet、ResNet、DenseNetの比較表
GoogLeNet、ResNet、DenseNetの比較表
項目 | GoogLeNet | ResNet | DenseNet |
---|---|---|---|
主な特徴 | Inceptionモジュール、補助分類器 | 残差ブロック(スキップ接続) | Dense Block(密な接続) |
勾配消失問題への対応 | 補助分類器、Inceptionモジュール | 残差ブロックによる直接的な勾配伝搬 | Dense Blockによる効率的な勾配伝搬 |
次元削減の効果 | 1x1畳み込みによるチャンネル数削減 | - | Transition Layerによるチャンネル数削減 |
アンサンブル学習との関連性 | 補助分類器、Inceptionモジュール | - | - |
残差ブロック/Dense Block内のパラメータが0になるケース | - | 恒等写像と等価 | - |
層の数 | 比較的浅い | 100を超える深いモデルも存在 | 比較的深い |
growth rateの影響 | - | - | チャンネル数が増加 |
Transition Layerの構成 | - | - | 1x1畳み込み、プーリング |
ショートカット結合の効果 | - | 勾配消失問題を解決 | 勾配消失問題を緩和 |
その他 | ネットワーク構造が複雑 | パラメータ数が多い | メモリ消費量が多い |
各モデルの補足
-
GoogLeNet:
- Inceptionモジュールにより、多種多様な特徴を効率的に捉える。
- 補助分類器により、勾配消失問題を緩和し、学習を安定化。
- 1x1畳み込みは、特徴マップのチャネル数を削減し、計算量の削減、過学習の抑制、特徴の抽象化といった次元削減と同様の効果をもたらす。
- ネットワークの途中から分岐させたサブネットワークにおいてもクラス分類を行い、auxiliary lossを追加することで、アンサンブル学習と同様の効果が得られるため、汎化性能の向上が期待できる。
-
ResNet:
- 残差ブロックにより、非常に深いネットワークの学習が可能。
- スキップ接続により、勾配を直接的に伝搬させ、勾配消失問題を解決。
- 残差ブロック内のパラメータが0になるケースは、恒等写像と等価。
-
DenseNet:
- Dense Blockにより、特徴の再利用を促進し、高い精度を達成。
- 少ないパラメータ数で高い精度を実現。
- growth rateが大きくなると、Dense Block内のチャンネル数が増加。
- Transition Layerにより、チャンネル数を削減し、計算量を削減。
- Dense Blockにおける密な接続は、勾配消失問題を効果的に緩和。
Discussion