😽

【ディープラーニング基礎⑧】様々な接続層

に公開
AI
ディープラーニング
tech

はじめに

ニューラルネットワークは層が複数あります。このそれぞれを接続層と呼ぶのですが、種類が多くあり大変なので代表的なものをまとめました。

1. 総結合層 (Fully Connected Layer)

  • 概要:
    総結合層では、前の層のすべてのノードが次の層のすべてのノードに接続されています。入力データを重みとバイアスを用いて線形変換し、活性化関数で非線形性を付加します。
    主に特徴量を統合して最終的な出力を生成する役割を担います。

  • 関連モデル:

    • 多層パーセプトロン (MLP)
    • フィードフォワードネットワーク (FFN)

  • 用途:

    • 分類タスク: 画像認識やテキスト分類の出力層として利用。
    • 回帰タスク: 数値予測の出力層として利用。

2. 畳み込み層 (Convolutional Layer)

  • 概要:
    畳み込み層は、内積計算を用いてデータの局所的なパターン（エッジやテクスチャなど）を検出します。入力データにカーネル（フィルタ）をスライドさせながら畳み込み操作を行い、特徴マップを生成します。

  • 関連モデル:

    • 畳み込みニューラルネットワーク (CNN)

  • 用語の解説:

    • 畳み込み操作: フィルタとデータの部分領域で内積を計算する操作。
    • カーネル（フィルタ）: 特徴を検出するための重み行列。
    • カーネルサイズ: フィルタの高さと幅（例: 3×3や5×5）。
    • ストライド: フィルタを移動させる際のステップ幅。

  • 用途:

    • 画像処理: エッジ検出、物体認識。
    • 自然言語処理: テキスト中の特徴抽出。
    • 時系列データ処理: パターン検出。

3. プーリング層 (Pooling Layer)

  • 概要:
    プーリング層は、特徴マップを縮小して計算負荷を減らし、重要な情報を保持します。
    平均値を取る「平均プーリング」や最大値を取る「最大プーリング」が一般的です。

  • 関連モデル:

    • プーリング層単独では使用されることは少ない。
    • CNNの中間層として利用。

  • 用途:

    • ノイズ削除: 特徴の局所的な変化を平滑化。
    • データ圧縮: 計算負荷の軽減と特徴マップの要約。

4. 回帰結合層 (Recurrent Layer)

  • 概要:
    回帰結合層は、時系列データや系列データ（例: テキスト、音声）の依存関係を捉えるために使用されます。過去の情報を保持しながら、現在のデータを処理する循環構造を持ちます。

  • 関連モデル:

    • リカレントニューラルネットワーク (RNN)

  • 用途:

    • 時系列データ予測（例: 株価、天気予報）。
    • 自然言語処理（例: 機械翻訳、テキスト生成）。
    • 音声認識。

  • 注意点:

    • 勾配のべき乗が繰り返されるため、勾配消失または勾配爆発が発生しやすい。
    • これを解決するために、LSTMやGRUが開発されました。 これについては以下の記事で説明しています。https://zenn.dev/student_blog/articles/3296c3d71f90fa

Discussion