回帰モデルの基礎
はじめに
前回の記事では、機械学習モデルの全体像と分類について俯瞰しました。教師あり学習、教師なし学習、強化学習という大枠を整理することで、それぞれがどのような目的で使われるのかを確認しました。
今回からは具体的なモデルを取り上げましょう。その第一歩として取り上げるのが回帰モデルです。回帰は機械学習の最も基本的なタスクの一つであり、数値を予測する問題に直結します。売上予測、住宅価格の見積もり、需要予測、株価予測など、実務に直結する応用例が豊富に存在します。
本記事では、回帰モデルの背景、代表的な手法、評価方法、実務における考慮点について整理します。
1. 回帰とは何か
回帰とは、入力データ（説明変数）と出力データ（目的変数）の間の関係を学習し、数値を予測する手法です。統計学における回帰分析に由来しており、線形モデルが基本形です。
住宅価格の予測を例にとると
入力変数（特徴量）: 面積、築年数、駅までの距離など
出力変数（目的変数）: 住宅価格そのもの
機械学習における回帰は、単に最適な直線を当てはめるだけでなく、複雑な非線形関数を学習するところまで広がっています。
2. 代表的な回帰モデル
(1) 線形回帰
最も基本的な回帰モデルです。入力と出力の関係を直線や平面で表すモデルで、単回帰（特徴量が1つ）と重回帰（特徴量が複数）があります。
利点: 計算コストが低く、解釈が容易
欠点: 複雑な関係を表現できない場合がある
実務では、まず線形回帰を基準として用い、そこから複雑なモデルについて考えることが多いです。
(2) リッジ回帰・ラッソ回帰
線形回帰に正則化を加えた手法です。特徴量が多い場合や、多重共線性（特徴量同士が強く相関する状態）がある場合に有効です。
リッジ回帰: 重みを小さく抑える（過学習を防ぐ）
ラッソ回帰: 不要な特徴量の重みをゼロにする（特徴選択に有効）
(3) 決定木回帰・ランダムフォレスト
非線形な関係を捉えるための代表例が決定木ベースの回帰です。特徴量を基準にデータを分割し、分割後の平均値で予測します。さらに、複数の木を組み合わせたランダムフォレストは、安定性と精度が高く、実務でも、しばしば使われています。
(4) 勾配ブースティング回帰（XGBoost, LightGBM, CatBoost）
多数の弱学習器（浅い決定木）を逐次的に組み合わせ、誤差を減らしていく手法です。多くのKaggleコンペや実務で定番のアルゴリズムとして知られています。
利点: 高精度、柔軟性が高い
欠点: 計算コストが大きい、ハイパーパラメータ調整が必要
(5) ニューラルネットワーク回帰
深層学習を使った回帰モデルです。入力と出力の間の非常に複雑な関係を学習できます。画像や時系列データの予測に強みがあります。
利点: 非線形・高次元データに対応
欠点: 学習に大規模データと計算資源が必要で解釈が難しい
3. 回帰モデルの評価指標
回帰タスクではどれだけ誤差が小さいかが重要です。代表的な評価指標は以下の通りです。
平均二乗誤差（MSE）: 誤差の二乗平均。大きな誤差を強調して評価できる
平均絶対誤差（MAE）: 誤差の絶対値平均。外れ値の影響を抑えたい場合に有効
決定係数（R²）: モデルがどれだけデータを説明できているかを表す指標
実務では、MSEやMAEに代表される評価指数を使いつつ、ビジネス的に意味のある指標（例えば売上予測では「予測誤差が平均でいくらか」）を合わせて確認します。
決定係数についてはピアソン相関係数との比較について検証した、こちらの記事もご覧いただけますと理解が深まると思いますのでぜひ！
4. 実務での考慮点
データの質が最重要
ラベルの誤り、外れ値、欠損値は回帰モデルの精度に直結します。データクレンジングや外れ値処理が重要となります。
特徴量設計
モデル精度の多くは特徴量次第です。例えば住宅価格予測だと駅からの距離をそのまま使うより駅からの距離を対数変換する方が適切な場合があります。
過学習の防止
複雑なモデルほど訓練データを暗記しやすくなります。正則化やクロスバリデーションを用いて汎化性能を確認する必要があるケースもあります。
モデル選択のバランス
精度だけでなく、解釈性・計算コスト・業務要件を踏まえてモデルを選択する必要があります。医療や金融では「説明責任」が求められるため、単純な線形回帰が好まれる場合もあります。
5. 回帰モデルの応用事例
ビジネス予測: 売上予測、需要予測、価格設定の最適化
金融: 株価予測、信用スコアリング
不動産: 住宅価格や賃料の見積もり
製造業: 設備の故障予測、品質予測
ヘルスケア: 患者のリスクスコア、検査値の予測
回帰は数値を予測したい分野で有効と言えます。
まとめ
本記事では、回帰モデルの基本から代表的な手法、評価方法、実務上の考慮点について整理しました。
回帰は数値予測の基本手法であり、線形から非線形まで多様なモデルが存在
評価にはMSEやMAEなどの指標を使うが、業務的意味を持つ指標も重要
データの質・特徴量設計・過学習対策が成功の鍵
実務では解釈性・計算コスト・業務要件を考慮したモデル選択が必要
次回は「分類モデル」に焦点を当て、教師あり学習のもう一つの柱を掘り下げます。
参考文献
Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer.
URL: https://hastie.su.domains/ElemStatLearn/
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning with Applications in R (2nd ed.). Springer.
URL: https://www.statlearning.com/
Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29(5), 1189–1232.
URL: https://projecteuclid.org/journals/annals-of-statistics/volume-29/issue-5/Greedy-function-approximation-a-gradient-boosting-machine/10.1214/aos/1013203451.full
Chen, T., & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.
URL: https://arxiv.org/abs/1603.02754
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
URL: https://www.deeplearningbook.org/
Discussion