【ディープラーニング基礎⑦】線形モデルと非線形モデルとは？ディープラーニングの万能近似定理

はじめに

今回は線形モデルと非線形モデルについてまとめました。ディープラーニングの万能近似定理もここから考えるのがわかりやすいと思います。概要を説明しているだけなので注意してください。

1. 線形モデル

• 特徴: 入力と出力の関係が「直線的」なモデル。たとえば、$y = ax + b$ のように表現されます。
• 制約:
  • 線形モデルをいくつ組み合わせても結果は線形のまま（例: 直線を重ねても直線にしかならない）。
  • 曲がった関係や複雑なデータ（例: $y = \sin x$）は表現できません。

2. 非線形モデル

• 特徴: 入力と出力の関係が「曲線的」または複雑なモデル。非線形関数（ReLU, Sigmoid など）を用いることで、非線形な関係を表現できます。
• 利点:
  • 非線形性を取り入れることで、直線では表現できない複雑なパターンを捉えられます。
  • これにより、画像認識や音声認識などの複雑な問題を解くことが可能になります。

なぜ非線形が重要か？

線形モデルをいくつ組み合わせても線形モデルにしかなりません。簡単な例でax+bとその出力zをcz+dあてはめても線形モデルとなりますよね。
また、現実世界のデータ（画像、音声、文書など）は、単純な直線的な関係では表せないことが多いです。

• 線形モデルでは限界がある
  例えば、画像の猫を認識する場合、猫の耳や体の曲線を捉えるには直線では不十分です。
• 非線形モデルなら可能
  非線形性を持つモデルは、複雑な形状や関係を表現できるため、現実世界の複雑なデータを学習するのに適しています。

万能近似定理

• 内容:
  ニューラルネットワークは、3層（入力層・中間層・出力層）の構造でも、中間層のユニット数を十分に増やせば、どのような関数でも任意の精度で近似できます。
  つまり、「層が少なくても、ユニット数が多ければ複雑な問題に対応できる」ということです。

• イメージ:
  ニューラルネットワークを「たくさんの小さな積み木を組み合わせて複雑な形を作る」と考えてください。

  • 線形モデルは「直線の棒」の積み木しか使えないため、直線的な形しか作れません。
  • 非線形モデルでは「曲がる棒」の積み木も使えるため、曲線や複雑な形も作れます。

ポイント

1. 深層ニューラルネットワーク（Deep Learning）の役割

   • 層を深くする（多層にする）ことで、より効率的に複雑なパターンを学習できます。
   • 層の深さが増えると、より抽象的で高度な特徴を学習できるようになります。

2. 計算量と効率

   • 3層であっても中間層のユニット数が増えると計算量が増加します。そのため、適切な層の深さとユニット数を選ぶ必要があります。

3. 非線形関数の選択

   • 活性化関数（ReLU, Sigmoid, Tanh など）の選択が重要です。適切な非線形関数を選ぶことで学習効率が向上します。