GoogLeNet、ResNet、DenseNetの比較表

GoogLeNet、ResNet、DenseNetの比較表

項目	GoogLeNet	ResNet	DenseNet
主な特徴	Inceptionモジュール、補助分類器	残差ブロック（スキップ接続）	Dense Block（密な接続）
勾配消失問題への対応	補助分類器、Inceptionモジュール	残差ブロックによる直接的な勾配伝搬	Dense Blockによる効率的な勾配伝搬
次元削減の効果	1x1畳み込みによるチャンネル数削減	-	Transition Layerによるチャンネル数削減
アンサンブル学習との関連性	補助分類器、Inceptionモジュール	-	-
残差ブロック/Dense Block内のパラメータが0になるケース	-	恒等写像と等価	-
層の数	比較的浅い	100を超える深いモデルも存在	比較的深い
growth rateの影響	-	-	チャンネル数が増加
Transition Layerの構成	-	-	1x1畳み込み、プーリング
ショートカット結合の効果	-	勾配消失問題を解決	勾配消失問題を緩和
その他	ネットワーク構造が複雑	パラメータ数が多い	メモリ消費量が多い

各モデルの補足

• GoogLeNet:
  • Inceptionモジュールにより、多種多様な特徴を効率的に捉える。
  • 補助分類器により、勾配消失問題を緩和し、学習を安定化。
  • 1x1畳み込みは、特徴マップのチャネル数を削減し、計算量の削減、過学習の抑制、特徴の抽象化といった次元削減と同様の効果をもたらす。
  • ネットワークの途中から分岐させたサブネットワークにおいてもクラス分類を行い、auxiliary lossを追加することで、アンサンブル学習と同様の効果が得られるため、汎化性能の向上が期待できる。
• ResNet:
  • 残差ブロックにより、非常に深いネットワークの学習が可能。
  • スキップ接続により、勾配を直接的に伝搬させ、勾配消失問題を解決。
  • 残差ブロック内のパラメータが0になるケースは、恒等写像と等価。
• DenseNet:
  • Dense Blockにより、特徴の再利用を促進し、高い精度を達成。
  • 少ないパラメータ数で高い精度を実現。
  • growth rateが大きくなると、Dense Block内のチャンネル数が増加。
  • Transition Layerにより、チャンネル数を削減し、計算量を削減。
  • Dense Blockにおける密な接続は、勾配消失問題を効果的に緩和。