Deep Learning資格試験 まとめ

はじめに

日本ディープラーニング協会の Deep Learning 資格試験（E 資格）の受験に向けて、調べた内容をまとめていきます。

応用数学

線形代数

• 演算規則
  • 和
  • スカラー倍
  • 行列式
  • 単位行列
  • 逆行列
• 連立方程式
  • 行基本変形
• 固有値分解
  • 固有値、固有ベクトル
• 特異値分解
• いろいろな距離
  • マンハッタン距離
  • ユークリッド距離
  • マハラノビス距離

確率・統計（１）

• 集合
  • 和集合
  • 共通部分
  • 絶対補
  • 相対補
• 確率
  • 頻度確率
  • ベイズ確率
  • 条件付き確率
  • 独立な事象の同時確率
  • ベイズ則
• 期待値
• 分散・共分散
  • 分散
  • 共分散
  • 標準偏差
• 確率変数と確率分布
• さまざまな分布

確率・統計（２）

• 統計的推定
  • 最尤推定

情報理論

• 自己情報量
• 平均情報量
• 結合エントロピー
• 条件付きエントロピー
• 相互情報量
• 相対エントロピー
• 交差エントロピー

機械学習

機械学習（１）

• 学習アルゴリズム
  • タスクＴ
  • 性能指標Ｐ
  • 経験Ｅ
• 前処理
  • 欠損処理
  • 外れ値除去
  • 正規化
  • 標準化
  • アンダーサンプリング
  • ダミー変数化（one hot encoding）
  • バッグオブワーズ
  • 特徴選択
• モデルの学習方法
  • ホールドアウト法
  • クロスバリデーション（K-分割交差検証）
• 機械学習の性能評価
  • 未学習
  • 過学習
  • バイアス-バリアンス分解

機械学習（２）

• ハイパーパラメータ探索
  • グリッドサーチ
  • ランダムサーチ
  • ベイズ最適化
• 正則化（パラメータノルムペナルティー）
  • L2 正則化（リッジ回帰）
  • L1 正則化（ラッソ回帰）

機械学習モデル

• 線形回帰・非線形回帰
• ロジスティック回帰
• Ｋ近傍法
• SVM
• K-means
• 主成分分析

評価関数

• 混同行列
• 正解率（accuracy）
• 適合率（precision）
• 再現率（recall）
• Ｆ値（F-measure）
• 特異度（specificity）
• 偽陽性率 (False Positive Rate、FPR)
• ROC 曲線
• 平均絶対誤差（Mean Absolute Error 、MAE）
• 平均二乗誤差（Mean Squared Error 、MSE）
• 平均二乗誤差平方根（Root Mean Squared Error 、RMSE）
• 物体認識、物体検出で使用される評価指標
  • IoU
  • AP
  • mAP

深層学習

深層学習概要

• ニューラルネットワーク全体像
  • 入力層
  • 中間層（隠れ層）
    
• 活性化関数
  • シグモイド関数
  • ReLU 関数
  • ハイパボリックタンジェント（tanh）関数
• 誤差逆伝搬法

最適化アルゴリズム

• 勾配降下法
• 確率的勾配降下法（SDG）
• ミニバッチ勾配降下法
• モメンタム
• AdaGrad
• RMSrop
• Adam

最適化・高速化・軽量化

• 初期値の設定方法
  • 通常
  • Xavier
  • He
• ドロップアウト
• Weight decay(荷重減衰)
• 最適化戦略
  • バッチ正規化
  • Layer 正規化
  • Instance 正規化
• 高速化
  • データ並列化
  • モデル並列化
• 軽量化
  • 量子化
  • 蒸留
  • プルーニング

畳み込みニューラルネットワーク

• レイヤー
  • 畳み込み層
    • ストライド
    • パディング
  • プーリング層
  • ダイレクト畳み込み
  • 転置畳み込み(transposed convolution)、逆畳み込み(Deconvolution)
• 畳み込み層の出力画像サイズの計算
• 物体検出
• セマンティックセグメンテーション
• 転移学習
• データ拡張(Data Augmentation)
• データセット
• im2col

CNN 代表的なモデル

• 物体認識モデル
  • VGG
  • GoogleNet
  • ResNet
  • DenseNet
• 物体検出モデル
  • MobileNet
  • R-CNN
  • Faster R-CNN
  • YOLO
  • SSD
• セマンティックセグメンテーション
  • FCN(Fully Convolutional Network)
  • SegNet
  • U-Net

再帰的ニューラルネットワーク

• 概要
• BPTT
• 制度指標
  • BLEU
• 自然言語処理
  • Word2vec

RNN 代表的なモデル

• 時系列データ
  • LSTM
  • GRU
  • 双方向 RNN
• 系列変換モデル
  • Seq2Seq
  • HERD
  • VHRED
  • VAE

強化学習

• 概要
  • 探索と利用のトレードオフ
  • 強化学習のイメージ
  • 強化学習と通常の教師あり、教師なし学習との違い
  • 強化学習の歴史
  • 価値関数
  • 方策関数

強化学習 代表的なモデル

• DQN（深層 Q ネットワーク、Deep Q-Network）
• DCGAN

生成モデル

• GAN
• WaveNet
• pix2Pix

Transformer

• Transformer の仕組み
  • Transformer の概要
  • Attention は何をしているのか
  • Transformer の長所
  • Transformer の短所
  • 位置エンコーディング
  • 注意機構
  • 注意機構には二種類ある
    • ソース・ターゲット注意機構（Source Target Attention）
    • 自己注意機構（Self-Attention）
  • Position-Wise Feed-Forward Networks
  • Scaled dot product attention（スケール・ドットプロダクト・アテンション）
  • Multi-Head attention（マルチヘッド・アテンション）
• 自然言語処理への応用（BERT）
  • BERT の概要
  • 事前学習とファインチューニング
  • 順伝搬層の活性化関数
  • BERT の入力と埋め込み層
  • マスク化言語モデル（MLM）
  • 事前学習
    • Feature-based
    • Fine-tuning
  • ファインチューニング
• 画像処理への応用（ViT）
  • ViT の概要
  • 埋め込み層
  • ViT の Transformer ブロック
  • 出力層
• 音声認識への応用（Conformer）
  • Conformer の概要
  • SpecAugment
  • Convolution Subsampling
  • Dropout
  • Feed Forward Module
  • Multi-Head Self-Attention Module
  • Convolution module
  • Pointwise Convolution
  • 1 次元 Depthwise Convolution
  • Gated Linear Unit（GLU）
  • Batch Normalization（バッチ正規化）