【ディープラーニング基礎⑫】スキップ接続

スキップ接続とは

スキップ接続（Skip Connection）は、ニューラルネットワークにおいて特定の層をスキップして情報を後続の層に直接伝えるための接続方法です。この手法は、特に深いネットワークにおいて、勾配消失や勾配爆発といった問題を軽減し、学習を安定させるために用いられます。

主な特徴

1. 勾配消失問題の軽減
   深いネットワークでは、逆伝播による勾配の伝達が途中で消失する問題があります。スキップ接続により、勾配が直接後続の層に伝わるため、この問題が軽減されます。

2. 効率的な特徴伝播
   ある層の出力が後続の層に直接伝わることで、低レベルの特徴と高レベルの特徴を効果的に組み合わせることができます。

3. 非線形性の補完
   スキップ接続は非線形な変換を経ない入力を直接後続の層に渡すため、モデルが多様な表現を学習しやすくなります。

ResNet (Residual Network)とは

スキップ接続を「残差ブロック（Residual Block）」として実装しています。具体的には、次のような計算を行います：

$$y = F(x) + x$$

• $x$: 入力
• $F(x)$: 層による変換（畳み込みや活性化など）
• $y$: 出力

ここで、入力 $x$ をそのまま出力に加えることで、学習の効率が大幅に向上します。活性化関数を残差ブロックにのみ使用するか上記の$y$に適用するかで名前が変わります（後述のSingle Relu等）

ResNetという名前がついている理由

ResNetは「Residual Network（残差ネットワーク）」の略で、スキップ接続を「残差（Residual）」という考え方でモデル化したため、この名前がついています。

• 残差：層の出力 $F(x)$ に入力 $x$ を直接加算することで、ネットワークは「学習すべき変化量」だけを学習します。
• これにより、各層がゼロ近くの出力を作るだけで目標に近づけるようになります。

どのような問題に有効か？

1. 回帰問題：低レベル特徴を保持しつつ、モデルが複雑なパターンを学習するのを助けます。
2. 分類問題：深層ネットワークでの高精度な特徴抽出に寄与します。
3. セグメンテーションや生成モデル：入力の詳細情報を直接出力に伝えるため、画像処理タスクにも有効です。

問題により工夫する必要がありますが、基本的にはオールマイティだと思います。

情報ボトルネックとは

情報ボトルネック（Information Bottleneck）は、ニューラルネットワークが出力に必要な情報だけを効率的に保持し、不要な情報を捨てる性質や制約のことです。

• 情報理論に基づき、入力 $X$ から出力 $Y$ を予測する際に、$X$ から $Y$ に必要な最小限の情報を保持するようにする考え方です。
• 学習が高速で効率的になりますが、一度圧縮した際に完全に失われた情報は復元できません。

情報ボトルネックとスキップ接続

スキップ接続は情報ボトルネックと補完的に機能します：

• 相性の良い点：
  ボトルネック層で情報が圧縮されても、スキップ接続によって元の入力情報を補完できます。これにより、重要な情報が失われるのを防ぎつつ、効率的な学習が可能になります。
• 設計上の注意：
  スキップ接続を多用しすぎると、情報が過剰に伝達され、圧縮のメリットが薄れる場合があります。

PreActivation、SingleReluの説明

1. PreActivation

   • 活性化関数を適用する順序を変えた設計。通常の順序では「畳み込み→バッチ正規化→活性化」ですが、PreActivationでは「バッチ正規化→活性化→畳み込み」の順序になります。
   • スキップ接続されたものには非線形化が行われず、学習が安定します。

2. SingleRelu

   • スキップ接続において、1つの活性化関数（ReLU）を通す設計。
   • ReLUの適用位置を制限することで、情報伝播をよりシンプルにし、効率的な計算を可能にします。
   • 例：残差ブロックの最後に一度だけ活性化関数を通す。

Pythonでの例

以下は、スキップ接続を適用する例です：

import tensorflow as tf

# 残差ブロックの定義
def residual_block(x, units):
    shortcut = x  # スキップ接続用に入力を保存
    x = tf.keras.layers.Dense(units)(x)
    x = tf.keras.layers.BatchNormalization()(x)
    x = tf.keras.layers.Activation('relu')(x)
    x = tf.keras.layers.Add()([shortcut, x])  # 入力と処理結果を加算
    return x

# モデルの構築
def build_resnet_model(input_shape):
    inputs = tf.keras.Input(shape=input_shape)
    x = inputs
    for _ in range(3):  # 3つの残差ブロック
        x = residual_block(x, units=64)
    outputs = tf.keras.layers.Dense(1, activation='sigmoid')(x)  # 出力層
    model = tf.keras.Model(inputs, outputs)
    return model

# モデルのコンパイルと学習
model = build_resnet_model(input_shape=(32,))
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
# ダミーデータでの学習
X_train = tf.random.normal((100, 32))
y_train = tf.random.uniform((100,), maxval=2, dtype=tf.int32)
model.fit(X_train, y_train, epochs=10, batch_size=8)