✅
転移学習
はじめに
概要
- シラバス：E資格2024#2
- 転移学習についてを勉強する
キーワード
ファインチューニング, ドメイン適応, コンセプトドリフト,
ワンショット学習, ゼロショット学習
学習内容
転移学習とは
- すでに学習されたモデル（知識）を別の関連タスクに応用する学習方法である
- 解決できる課題
- 学習データが少ない
- 学習に時間がかかる
- 計算リソースが限られている
ファインチューニング
- 既に学習済みのモデルを、新しいデータやタスクに合わせて再調整（微調整）する手法
- メリット
- 少ないデータでも高精度が出る
- 学習が速い
- 例：花の種類分類など別の小規模タスクへ応用
出典：
jinbeizame007, KelpNetで転移学習(2018), じんべえざめのノート, https://jinbeizame.hateblo.jp/entry/kelpnet_transfer
ドメイン適応(Domain Adaptation)
- 十分なデータ数を持つデータセット（ソースドメイン）で学習した学習済みモデルの重みを初期値として、別のデータ数の少ないデータセット（ターゲットドメイン）を追加で学習させるという転移学習の手法
| 例 | ソースドメイン | ターゲットドメイン |
|---|---|---|
| 自動運転 | 晴れの日の画像 | 雨の日の画像 |
| 医療画像 | 病院AのCTスキャン | 病院BのCTスキャン |
| OCR | 印刷フォント | 手書き文字 |
| 人の顔 | 実写の顔画像 | アニメ顔 |
出典：
jinbeizame007, KelpNetで転移学習(2018), じんべえざめのノート, https://jinbeizame.hateblo.jp/entry/kelpnet_transfer
コンセプトドリフト
- データ分布が時間とともに緩やかに変化することを考慮した転移学習の手法
- 問題点
- 古いデータで学習したモデルの精度が落ちる
- モデルを再学習や適応させる必要がある
- 例
- スパムメールの特徴は数か月で変わる（ユーザーや攻撃者が戦略を変える）
- 気候変動により農作物の病害パターンが変化
- 毎年発生する新種のコンピューターウイルスに対応する
ワンショット学習
- 各クラスに対して1つ、あるいは極めて少数のサンプルだけで学習する方法
- 背景
- 通常のディープラーニングでは大量のラベル付きデータが必要
- 人間は1枚の画像を見るだけで「猫」と認識できる → それを模倣した手法
- 例
- 顔認識（ID1枚だけで個人を識別）
- 医療画像（まれな病気の診断）
ゼロショット学習
- 学習時に一度も見たことのないクラス（未知クラス）に対しても、正しく推論・分類する手法
- クラスZのデータは1つも学習していない（= ゼロショット）が、「Zの説明（属性・関係・埋め込み）」を知っていれば予測可能
- 例
| テーマ | 学習クラス | 未知クラス | 対応方法 |
|---|---|---|---|
| 画像分類 | 犬・猫・馬 | シマウマ | 属性やテキストの記述(縞模様がある、草食動物)により、シマウマ画像を見たことがなくても分類できる |
| トピック分類 | 経済、政治、スポーツ | サイバーセキュリティ |
This article is about cyber security. モデルはテキストの意味から新しいカテゴリへの分類を行う |
| 言語間翻訳 | 英語 ↔ フランス語、英語 ↔ 日本語 | フランス語 ↔ 日本語 | 英語を中間言語としてゼロショット翻訳が可能 |
| 医療画像診断 | 正常、肺炎、結核 | 新しいウイルス性疾患 | 医師のテキスト説明（例：「小葉間隔に沿ったすりガラス影」）と照合して予測可能 |
Discussion