整理されて見やすいAI関連単語リストまとめ

AI/DeepLearning/LLMについて勉強する中でメモしておいたキーワードをGPTに整理させた。

ここで最も重要な知見は、メモ帳などに適当にまとめた情報をGPTで整理させることで後で見返しやすくなることである。AI関連単語リストというのは１つの題材に過ぎない。

一方で、このまとめが初学者向けに役立つのではないかと勝手に考えている。

1. ニューラルネットワークの基本構造・概念

• Affineレイヤ: 線形変換を行う層。
• プーリング層: CNNで使われる、次元削減のための層（例: max pooling）。
• GRU: RNNに記憶を持たせる仕組み。
• RNN: 系列データの認識に使われるリカレントネットワーク。
• LSTM: 記憶と勾配消失の対策として使われる。
• Transformer: 自己注意機構を持つニューラルネットワークアーキテクチャ。
• CNN: 画像認識などに使われる畳み込みニューラルネットワーク。
• BERT: 双方向エンコーダ型モデル、分類や感情分析に使用。
• GPT: テキスト生成を得意とするデコーダ型モデル。
• Attention: 重要な部分に焦点を当てる機構。
• Self-attention: 自己の入力データ内での関連性を計算する手法。

2. 学習手法

• 教師あり学習: ラベル付きデータで学習。
• 教師なし学習: ラベルなしデータで学習。
• 強化学習: 環境から報酬を得ながら方策を学習する。
  • Q学習: 強化学習の代表的手法、Q関数を学習。
  • DQN: Q学習とニューラルネットワークの組み合わせ。
• 転移学習: 既存のモデルを再利用して新しいタスクに適用。
• ファインチューニング: 転移学習における特定タスク向けの微調整。

3. 最適化手法

• 勾配降下法: 損失関数を最小化するためのアルゴリズム。
  • SGD (確率的勾配降下法): 全データではなくランダムサンプルで更新。
  • ニュートン法: 2次微分を利用した最適化手法。
• 正則化: 過学習を防ぐための手法。
  • L2正則化（リッジ回帰）: 重みの二乗をペナルティに加える。
  • L1正則化（ラッソ回帰）: 重みの絶対値をペナルティに加える。
• Dropout: 過学習を抑制するためのランダムなユニットの無効化。

4. 損失関数と評価指標

• 交差エントロピー誤差: クラス分類問題で用いられる損失関数。
• 損失関数: モデルの性能を評価する指標。
• BLEU: 機械翻訳の精度を評価する指標。

5. 系列データ処理

• seq2seq: 系列データの入力から系列データを出力するタスク。
  • 例: 音声からテキスト変換、翻訳など。
• Encoder/Decoderモデル: 系列変換に使用されるアーキテクチャ。
  • 交差注意機構: エンコーダの出力とデコーダの入力を関連付ける。

6. 自然言語処理

• word2vec: 単語の分散表現を学習する手法。
  • CBOW: コンテキストからターゲット単語を予測。
  • skip-gram: ターゲットからコンテキストを予測。
• RNNのタスク
  • seq2vec: 系列から非系列データを出力（例: テキスト分類）。
  • vec2seq: 非系列データから系列データを生成（例: 画像からキャプション生成）。

7. 強化学習関連

• ベルマン方程式: 強化学習のQ関数に基づく最適化手法。
• 報酬関数: 強化学習でエージェントが受け取る報酬を定義。
• モンテカルロ法: 経験に基づくサンプリング手法。
• REINFORCEアルゴリズム: 方策勾配に基づく強化学習手法。

8. 特殊なアルゴリズム・手法

• LoRA: 転移学習における効率化手法。
• SSM（State Space Models）: 状態空間モデル。
• Sparse: 少ない情報から全体像を復元する手法。
• Beams Search: 複数候補を評価しながら最適な組み合わせを探索。

9. フレームワーク

• PyTorch: モデル構築や学習に使われるフレームワーク。
• TensorFlow: Googleが開発した機械学習フレームワーク。
• Keras: TensorFlowの高レベルAPI。

10. 実例・データセット

• ImageNet: 画像分類のデータセット。
• Kaggle Titanic予測: 機械学習コンペの題材。