Zenn
📌

GoogLeNet、ResNet、DenseNetの比較表

2025/03/16に公開

GoogLeNet、ResNet、DenseNetの比較表

項目 GoogLeNet ResNet DenseNet
主な特徴 Inceptionモジュール、補助分類器 残差ブロック(スキップ接続) Dense Block(密な接続)
勾配消失問題への対応 補助分類器、Inceptionモジュール 残差ブロックによる直接的な勾配伝搬 Dense Blockによる効率的な勾配伝搬
次元削減の効果 1x1畳み込みによるチャンネル数削減 - Transition Layerによるチャンネル数削減
アンサンブル学習との関連性 補助分類器、Inceptionモジュール - -
残差ブロック/Dense Block内のパラメータが0になるケース - 恒等写像と等価 -
層の数 比較的浅い 100を超える深いモデルも存在 比較的深い
growth rateの影響 - - チャンネル数が増加
Transition Layerの構成 - - 1x1畳み込み、プーリング
ショートカット結合の効果 - 勾配消失問題を解決 勾配消失問題を緩和
その他 ネットワーク構造が複雑 パラメータ数が多い メモリ消費量が多い

各モデルの補足

  • GoogLeNet:
    • Inceptionモジュールにより、多種多様な特徴を効率的に捉える。
    • 補助分類器により、勾配消失問題を緩和し、学習を安定化。
    • 1x1畳み込みは、特徴マップのチャネル数を削減し、計算量の削減、過学習の抑制、特徴の抽象化といった次元削減と同様の効果をもたらす。
    • ネットワークの途中から分岐させたサブネットワークにおいてもクラス分類を行い、auxiliary lossを追加することで、アンサンブル学習と同様の効果が得られるため、汎化性能の向上が期待できる。
  • ResNet:
    • 残差ブロックにより、非常に深いネットワークの学習が可能。
    • スキップ接続により、勾配を直接的に伝搬させ、勾配消失問題を解決。
    • 残差ブロック内のパラメータが0になるケースは、恒等写像と等価。
  • DenseNet:
    • Dense Blockにより、特徴の再利用を促進し、高い精度を達成。
    • 少ないパラメータ数で高い精度を実現。
    • growth rateが大きくなると、Dense Block内のチャンネル数が増加。
    • Transition Layerにより、チャンネル数を削減し、計算量を削減。
    • Dense Blockにおける密な接続は、勾配消失問題を効果的に緩和。

Discussion

ログインするとコメントできます