Zenn
🦔

【初心者向け】機械学習における「回帰」とは？

2024/12/30に公開
機械学習
tech

1. はじめに

機械学習を学びはじめると、まず「回帰 (Regression)」と「分類 (Classification)」がよく登場します。

  • 分類: スパムメール判定や画像認識など、**カテゴリ（離散的なラベル）**を判定する
  • 回帰: 売上や価格など、連続値を予測する

本記事では「回帰」にフォーカスし、どんなタスクなのか、どんなモデルを使えるのか、数学はどの程度必要なのか、そして学習したモデルをどのように評価して活用するのかを初心者向けにまとめました。

2. 回帰とは数値を予測するもの

回帰 (Regression) とは、機械学習において 「数値（連続値）を予測する」 タスクです。

  • 例1: 「来週の売上はいくらになるか？」
  • 例2: 「この物件の価格はどれくらいか？」
  • 例3: 「明日の気温は何度になりそうか？」

ポイント

  • 「スパムメールかどうか」のようにカテゴリを判定する分類 (Classification) とは異なり、0 から無限大まで連続的に取りうる数値を当てるのが回帰。
  • 需要予測、在庫最適化、価格設定、天気予報など、多くのビジネスシーンや研究で用いられます。

3. モデル (Model) とは何か

機械学習における「モデル」とは、**入力（特徴量）から出力（予測値やクラス）を導く“変換ルール”**のようなものです。

  1. データを通じて自動的に学習
    • 例：不動産の過去データ（面積、駅からの距離、築年数など）→ 実際の価格を見比べて、その対応関係（パラメータ）を探し出す。
  2. 回帰モデルなら「数値」を出力
    • 学習後は、まだ見たことのない入力を与えても「このくらいの数値になりそう」と予測してくれる。
  3. 手法はいろいろ
    • 線形回帰、決定木、ニューラルネットなど、同じ回帰でもアプローチが複数あり、どれがよいかはデータや目的次第。

4. 回帰モデルの種類

「回帰モデルを学習する」といっても、どんなアプローチを取るかによってモデルの内部構造や特性が異なります。以下では、代表的な回帰手法をまとめ、**「どのような特徴があり、どんなシステムに向いているか」**を解説します。

モデル 概要 長所 短所 システム上のユースケース例
線形回帰
(Linear Regression)		 - 最も基本的な回帰手法。
- 数式は (y = w_1 x_1 + w_2 x_2 + \dots + b)
- 特徴量と出力を直線や平面で近似する		 - シンプルで計算コストが低い
- モデルの重み（係数）を通じた解釈が容易		 - 非線形な（曲線的な）関係は捉えにくい
- 外れ値や多重共線性に弱い		 - 定期バッチでのざっくり予測
(毎週の売上を簡単に見積もる)
- 係数を可視化したレポートで担当者が納得しやすい
決定木回帰
(Decision Tree Regressor)		 - 「もし〇〇なら…」と木構造でデータを分割し、末端ノードで平均値などを返す方式。
- ステップ状の予測をするイメージ		 - カテゴリ変数を扱いやすい
- モデル構造が直感的（意思決定フローに近い）		 - 単体だと過学習しやすい
- 分割境界で不連続な予測値が出るケースがある		 - 在庫発注システムで、「もし気温が高い→〇〇商品多め発注」など
条件分岐が多い状況を直観的にモデリングしたい場合
ランダムフォレスト回帰
(Random Forest)		 - 決定木を多数作り、その予測を平均する「アンサンブル学習」。
- 個々の木より高い精度＆過学習に強い		 - 決定木ベースで非線形関係も捉えやすい
- 特徴量重要度を算出しやすい		 - モデル解釈がやや難しい
- パラメータが増え、学習に時間がかかることも		 - 複雑な要因が絡む需要予測システム
(例: リアルタイムで売上を更新し、安定した精度を確保)
XGBoost / LightGBM - 勾配ブースティング(Gradient Boosting) に基づく高精度な手法。
- 大規模データにも対応しやすい		 - 設定次第では非常に高い精度を出せる
- 学習高速化などの最適化も進んでいる		 - パラメータが多く初心者には複雑
- 不適切な設定だと過学習しやすい		 - 大量の特徴量を活かすWebサービス
(例: ユーザ行動ログ＋キャンペーン履歴で
超高精度な需要予測を行う)
ニューラルネットワーク
(Neural Network)		 - 多層構造で高次元の特徴を学習。
- ディープラーニングにより高度な表現力を発揮		 - 複雑な非線形関係を捉えられる
- 画像や音声などの大規模データでも強い		 - “ブラックボックス”になりやすく、解釈が難しい
- GPUなど学習リソースが必要		 - 画像解析なども含むレコメンドシステム
(棚割り最適化/IoTセンサ大量データなど)
計算リソースが潤沢な現場で高精度予測を実行

5. 回帰に必要な数学の知識

5.1 数学は「ざっくり構造が分かる程度」でOKから始める

  • ライブラリ（scikit-learnやTensorFlowなど）を使うなら、詳細な数式を自分で実装しなくても大丈夫。
  • 「線形回帰の式」「決定木の分割ルール」「勾配降下法のイメージ」など、大まかな仕組みが分かれば始められる。

5.2 もう少し踏み込みたいなら…

  • 線形代数（行列計算）: 特徴量が多い場合、行列演算を通してモデルが学習される。
  • 微分・積分の基礎: パラメータを最適化（誤差を最小化）する際、勾配降下法などで微分の概念が登場。
  • 確率・統計: 外れ値の扱いや過学習判断、信頼区間などの理解に役立つ。

5.3 数学を学ぶメリット

  • モデルを深く理解できる: エラー原因やハイパーパラメータ設定を理論的に掴める。
  • トラブルシュートに強い: 過学習や精度低下などが起きたとき、数式レベルで原因を推測しやすい。
  • 運用時に調整が楽: なぜ正則化（L1/L2）が効くのか、なぜ学習率が重要なのかなどを納得した上で設定できる。

6. 評価指標と学習のつながり

回帰モデルを学習したら、「このモデルはどれくらい正確なのか？」を評価指標 (Metrics) で測定します。

6.1 なぜ評価指標が必要？

  1. 学習しただけでは正確さが分からない
    • 例：ランダムフォレストで学習を終えても、誤差が大きいままでは実運用が難しい。
  2. テスト用データに対してモデルがどれだけ当たっているか
    • 実測値と予測値の差を数値化し、誤差が小さいモデルほど「本番で使う価値がある」と判断しやすい。
  3. 良い指標スコアが得られれば採用、悪ければチューニングや別のモデルを試す
    • こうして精度を高め、本番運用に耐えるモデルを目指す。

6.2 主な指標の概要

指標 計算イメージ 特徴
MSE (\frac{1}{N} \sum (\hat{y}_i - y_i)^2) - 誤差の2乗を平均
- 大きい誤差を重く評価
- 外れ値に敏感
RMSE (\sqrt{\text{MSE}}) - MSEの平方根
- 単位が元の値と同じ
- MSEと同様、外れ値にやや敏感
MAE (\frac{1}{N} \sum \hat{y}_i - y_i
R^2 (1 - \frac{\sum (\hat{y}_i - y_i)^2}{\sum (y_i - \bar{y})^2}) - 当てはまりの良さを 0〜1 で示す
- 1に近いほど良好
- 0未満なら「平均値で予測するより悪い」
  • MSE / RMSE: 大きな誤差を重く罰する。外れ値に敏感だが「大失敗」を重視する場合に有効。
  • MAE: 誤差を絶対値で評価。外れ値の影響をやや緩和しつつ、誤差の大きさを直感的に把握できる。
  • R^2: 当てはまり度合いを 0〜1 で評価。1に近いほど良好、0未満は「平均予測に劣る」ことを意味する。

6.3 具体的な学習と評価の流れ (例)

たとえば、「来週の売上予測」を回帰で行いたいケースを考えます。

  1. データ準備

    • 過去1年分の売上（数値）＋ 曜日・キャンペーン・天気などの特徴量。
    • 80%を学習用、20%をテスト用データに分割。

  2. モデル選択＆学習

    • まずは線形回帰 → テストデータで RMSE を算出。
    • 結果が芳しくなければ、ランダムフォレスト回帰 → 再度テストデータで RMSE を比較。

  3. 評価指標による判断

    • 線形回帰の RMSE = 2000 (円)、ランダムフォレストの RMSE = 1500 (円)。
    • 後者の誤差が小さいので、ランダムフォレストを採用。

  4. 運用＆継続的モニタリング

    • 毎週 or 毎日、最新データで推論し、実際の売上との誤差（RMSE など）を追跡。
    • 誤差が徐々に大きくなれば、再学習や別モデルの導入を検討。

こうして、学習 → テスト → 指標で評価 → 採用 or 改良というサイクルを繰り返して精度を高め、最終的に本番システムへ回帰モデルを導入していきます。

7. まとめ

  1. 回帰とは何か？
    • **数値（連続値）**を予測する機械学習タスク。売上や需要、価格、気温などの予測に広く用いられる。
  2. モデル (Model)
    • 入力（特徴量）→ 出力（予測値）への変換ルール。データを通じて学習し、自動的にパラメータを獲得。
  3. 回帰モデルの種類
    • 線形回帰: シンプル＆計算が軽く、係数が分かりやすい
    • 決定木 / ランダムフォレスト: 非線形やカテゴリ変数への対応がしやすい
    • XGBoost / LightGBM: 大規模データに強く、高精度な勾配ブースティング
    • ニューラルネット: 大量データ・複雑なパターンに強力だがリソースが必要
  4. 数学はどこまで必要？
    • ライブラリ活用でスタート可能。線形代数や微分、統計を少しずつ学ぶとモデル改善やトラブルシュートに役立つ。
  5. 評価指標と学習のつながり
    • 学習後、テストデータで予測 → MSE / RMSE / MAE / R^2 などを算出。
    • 指標が良好なら採用、悪ければ別のモデルや調整を繰り返す。
    • 運用後も誤差をモニタリングし、必要に応じて再学習。

最後に

「回帰」を使いこなすと、数値予測によって在庫管理や需要予測、価格最適化など、多彩なビジネスインパクトを狙えます。

  • 最初は線形回帰や決定木などシンプルなモデルを試し、評価指標を見ながら改善してみましょう。
  • 数学の細部は一歩ずつでOK。必要なときに学び、モデル選定やハイパーパラメータ調整へフィードバックすれば、さらに高度な回帰タスクにも対応できるようになります。

この記事が、回帰に興味を持った初心者の方が「どんなモデルがあるのか」「どう評価すればいいのか」をイメージする一助となれば幸いです。ぜひ自分のデータや業務に合わせて、回帰タスクを楽しんでください！

Discussion