✅
アンサンブル手法
はじめに
概要
- シラバス：E資格2024#2
- アンサンブル手法を勉強する
キーワード
アンサンブル手法, バギング, ブースティング, スタッキング
学習内容
アンサンブル手法
- 複数の弱いモデルをうまく組み合わせて、強いモデルを作る方法
- 単一のモデルは「過学習・未学習・ノイズ」の影響を受けやすいので、異なるモデルの予測を統合することで、精度の向上・汎化性能の改善・頑健性の強化が期待できる
バギング(bagging)
- 同じアルゴリズムで複数のサブモデルを並列学習
- 出力は平均または多数決で決定
- 例：ランダムフォレスト(random forest)
ブースティング(boosting)
- 前のモデルの誤りを補うように次のモデルを学習
- バギングと異なり、直列に作成、逐次的にモデルを作成する
- 最初はすべてのデータを均等に扱う
- 予測に失敗したサンプルの重みを増やす→boost
- 後のモデルは前の失敗を重点的に学習
スタッキング(stacking)
- 複数の異なるモデルの予測結果を組み合わせて、より精度の高い予測を目指す
- ベースモデルの多様性が重要。違ったタイプのモデル（例：決定木、線形回帰、ニューラルネットなど）を使うと効果が高まる
- 仕組み
- 複数のモデル（ベースモデル）を別々に学習させる
- それらのモデルの予測結果を集めて、新たにメタモデル（メタ学習器）を学習させる
- メタモデルが最終予測を行う
Discussion