【新G検定対策_実践編(第3回)】ディープラーニングとは？

はじめに

G検定の学習を進めている皆さん、第3回となる本記事では「ディープラーニング」をテーマに予想問題を通じてキーワードをより深く理解していただけます。問題を解くだけでなく、キーワードを一言でまとめたり、具体例を挙げて説明することで、アウトプットの力を養い、記憶の定着を図ります。

第1章ではディープラーニングに関する予想問題に挑戦していただきます。第2章で解答と解説を読み、理解を深めます。第3章ではキーワードを一言で言い表すレッスンを行い、第4章では具体例を挙げるレッスンをします。最後の第5章では、キーワードを構造化して記憶に定着させるレッスンを行います。

これらのレッスンを通じて、1つの問題を解くことで10問分の価値があると考えています。ぜひ、3つの問題を通じて「ディープラーニング」のキーワードを深く理解し、G検定合格への一歩を踏み出してください。

1. 予想問題

1.1. 問題1

問題文

• 機械学習において、過学習を防ぐために用いられる正則化手法として、「パラメータの大きさに応じて罰則を与え、全てのパラメータを小さくする」効果がある(X)と、「一部のパラメータをゼロにし、モデルのスパース性を高める」効果がある(Y)がある。XとYに当てはまる組み合わせとして、最も適切な選択肢を1つ選べ。

選択肢

• (A) X. リッジ回帰、Y. ラッソ回帰
• (B) X. ラッソ回帰、Y. リッジ回帰
• (C) X. ロジスティック回帰、Y. リッジ回帰
• (D) X. リッジ回帰、Y. ロジスティック回帰

1.2. 問題2

問題文

• ニューラルネットワークの学習において、出力層から入力層へ誤差を逆伝播させて各パラメータを更新するアルゴリズムはどれか。最も適切な選択肢を1つ選べ。

選択肢

• (A) 勾配降下法
• (B) 誤差逆伝播法
• (C) 確率的勾配降下法
• (D) モーメンタム法

1.3. 問題3

問題文

• ニューラルネットワークにおいて、入力値が0以下の場合は0を出力し、0より大きい場合はその値をそのまま出力する活性化関数はどれか。最も適切な選択肢を1つ選べ。

選択肢

• (A) シグモイド関数
• (B) ReLU関数
• (C) タンハ関数
• (D) ソフトマックス関数

2. 解答と解説

2.1. 問題1

解答

• (A) X. リッジ回帰、Y. ラッソ回帰

解説

正答理由（(A) X. リッジ回帰、Y. ラッソ回帰）

リッジ回帰は、二乗ノルム（L2正則化）を用いて全てのパラメータに罰則を与え、パラメータの大きさを小さくすることで過学習を防ぎます。これにより、パラメータが極端に大きくなるのを防ぎ、モデルの複雑さを抑制します。一方、ラッソ回帰は、絶対値ノルム（L1正則化）を用いて、一部のパラメータをゼロにする効果があります。これにより、重要でない特徴量を自動的に除去し、モデルのスパース性を高めます。したがって、Xに当てはまるのはリッジ回帰、Yに当てはまるのはラッソ回帰となります。

誤答理由

• (B) X. ラッソ回帰、Y. リッジ回帰

この選択肢は、リッジ回帰とラッソ回帰の効果を逆にしています。ラッソ回帰は一部のパラメータをゼロにし、特徴選択の効果がありますが、リッジ回帰は全てのパラメータを小さくする効果があります。このため、XとYの効果が逆になっており、不適切です。

• (C) X. ロジスティック回帰、Y. リッジ回帰

ロジスティック回帰は分類問題に用いられる回帰手法であり、正則化手法ではありません。リッジ回帰は正則化手法ですが、Xの説明に合致しません。この組み合わせは不適切です。

• (D) X. リッジ回帰、Y. ロジスティック回帰

同様に、Yにロジスティック回帰が入るのは不適切です。ロジスティック回帰は分類モデルであり、正則化による特徴選択の効果は持ちません。

---

2.2. 問題2

解答

• (B) 誤差逆伝播法

解説

正答理由（(B) 誤差逆伝播法）

誤差逆伝播法（バックプロパゲーション）は、ニューラルネットワークの学習アルゴリズムであり、出力層から入力層へ誤差を逆伝播させて各パラメータ（重みとバイアス）を更新します。これにより、ネットワーク全体の誤差を最小化する方向にパラメータを調整し、モデルの精度を高めます。

誤答理由

• (A) 勾配降下法

勾配降下法は、目的関数の勾配を用いてパラメータを更新する最適化手法ですが、誤差を逆伝播させる具体的なアルゴリズムではありません。ニューラルネットワークにおけるパラメータ更新の基本的な考え方ですが、誤差逆伝播法とは区別されます。

• (C) 確率的勾配降下法

確率的勾配降下法（SGD）は、データをランダムに選択して勾配降下法を適用する手法です。バッチサイズを1とすることで計算効率を高めますが、誤差を逆伝播させるアルゴリズムそのものではありません。

• (D) モーメンタム法

モーメンタム法は、勾配降下法において過去の勾配情報を考慮してパラメータ更新を行う手法です。学習の安定性や収束速度を改善しますが、誤差逆伝播法そのものではありません。

---

2.3. 問題3

解答

• (B) ReLU関数

解説

正答理由（(B) ReLU関数）

ReLU関数（Rectified Linear Unit）は、入力値が0以下の場合は0を出力し、0より大きい場合はそのままの値を出力する活性化関数です。この性質により、計算が簡単で勾配消失問題を緩和できるため、深層学習で広く使用されています。

誤答理由

• (A) シグモイド関数

シグモイド関数は、入力値を(0, 1)の範囲に圧縮する活性化関数であり、負の入力値でも出力は0に近い正の値を取ります。しかし、シグモイド関数は入力値そのものを出力することはなく、問題文の説明に当てはまりません。

• (C) タンハ関数

タンハ（双曲線正接）関数は、出力が(-1, 1)の範囲を取る活性化関数です。負の入力値に対しても負の出力値を持ちますが、入力値そのものを出力するわけではありません。

• (D) ソフトマックス関数

ソフトマックス関数は、複数の出力値を確率分布に変換するための活性化関数であり、主に分類問題の出力層で使用されます。個々の入力値に対してそのままの値や0を出力するものではなく、問題文の説明には該当しません。

3. レッスン1(一言で言う)

3.1.

• 正則化手法（リッジ回帰とラッソ回帰）
  • 過学習を防ぐためにモデルのパラメータに罰則を与える手法。

3.2.

• 誤差逆伝播法（バックプロパゲーション）
  • ニューラルネットワークで誤差を出力層から入力層へ逆伝播させてパラメータを更新するアルゴリズム。

3.3.

• 活性化関数（ReLU関数）
  • 入力が正のときはそのまま出力し、負のときは0を出力する関数。

4. レッスン2(具体例を言う)

4.1.

• 正則化手法の具体例
  1. リッジ回帰（L2正則化）：住宅価格予測モデルで、全ての説明変数の係数を小さく抑えることで、モデルの複雑さを制御し、未知のデータに対する予測精度を向上。
  2. ラッソ回帰（L1正則化）：テキストデータの感情分析で、大量の特徴量から重要な単語を自動的に選択し、モデルを簡潔にする。
  3. Elastic Net回帰：リッジ回帰とラッソ回帰を組み合わせた手法で、遺伝子データ解析において、高次元データから関連性の高い遺伝子を特定しつつ、モデルの安定性を確保。

4.2.

• 誤差逆伝播法の具体例
  1. 画像認識モデルの学習：手書き数字の認識において、出力と正解ラベルの差を逆伝播させ、ニューラルネットワークの重みを更新して認識精度を高める。
  2. 音声認識システムの訓練：音声データを入力し、テキストに変換するモデルで、誤差逆伝播法を用いてモデルのパラメータを調整し、認識率を向上。
  3. 自然言語処理の言語モデル：文章の次の単語を予測するタスクで、予測誤差を逆伝播させてモデルを学習し、文章生成の精度を上げる。

4.3.

• 活性化関数（ReLU関数）の具体例
  1. 深層畳み込みニューラルネットワーク（CNN）：画像分類タスクで、各層の活性化関数にReLUを使用し、学習の効率化と勾配消失の防止を実現。
  2. 物体検出モデル（YOLOなど）：リアルタイムの物体検出で、ReLUを活性化関数として採用し、高速かつ高精度な検出を可能にする。
  3. 生成的敵対ネットワーク（GAN）：画像生成モデルの判別器にReLU関数を用いて、偽物と本物の画像を区別する能力を強化。

5. レッスン3(構造化して記憶する)

6. 参考記事(知識編)

https://zenn.dev/tasse/articles/7497c130a73a1e