こんにちは、株式会社ナレッジラボでAI・機械学習のエンジニアリングを担当しているダンです。私たちは、社内に散在する経営データの集計・分析・管理を支援する「Manageboard」というサービスを提供しています。Manageboardは、今後ますますAI機能を強化していく予定です。私の記事では、研究開発中に直面した課題について共有いたします。
背景
教師あり学習の過程でモデルをトレーニングした後、次に重要なのはその精度の評価です。モデルがどれほど正確に予測を行っているかを定量的に把握することは、実世界でそのモデルを使用する際の信頼性を測るために欠かせません。評価にはいくつかの指標や手法がありますが、それぞれの方法がどのような場面で適切かを理解することが重要です。本記事では、回帰分析においてよく用いられる「決定係数」と「ピアソン相関係数」について比較してみます。
決定係数 (R²スコア)
決定係数 (
-
定義
決定係数は、次の式で表されます。
R^2=1-\frac{\sum_i(y_i-\hat{y}_i)^2}{\sum_i(y_i-\overline{y})^2}
ここで、y_i \hat{y}_i \overline{y} -
範囲
決定係数は、-∞ 1
-
R^2=1 -
R^2=0 -
R^2<0
-
サンプル数の対策
決定係数はサンプル数に依存するため、サンプル数が少ない場合やデータに偏りがある場合には、その結果が過剰に影響を受けることがあります。この問題を緩和するために、重み付き決定係数を使う方法があります。重み付き決定係数は、各サンプルに対して異なる重要度を与え、サンプル数やデータの分布への依存を減らした評価が可能になります。 -
欠点
決定係数は非常に有用な指標ですが、いくつかの欠点もあります：
- スコアの範囲が
-∞ - 目的変数が定数の場合: すべてのサンプルで目的変数が同じ値を取る場合（例えば、すべての予測値が同じ結果となる場合）、決定係数は計算できません。これは、分子にある残差平方和がゼロになり、計算上の問題が発生するためです。
ピアソン相関係数
モデルが線形回帰の場合、ピアソン相関係数も有効な評価指標として使用されます。ピアソン相関係数は、2つの変数間の線形な関係を測る指標で、
-
定義
ピアソン相関係数は次の式で計算されます。
r=\frac{\sum_i(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum_i(x_i-\overline{x})^2}\sqrt{\sum_i(y_i-\overline{y})^2}}
ここで、x_i y_i \overline{x} \overline{y} - 範囲
-
r=1 -
r=-1 -
r=0
-
メリット：解釈が簡単
ピアソン相関係数の絶対値は0 1 -
欠点：線形性の仮定
ピアソン相関係数は、変数間に線形の関係がある場合に有効です。非線形な関係の場合、モデルが適切に評価できない方法です。
まとめ
教師あり学習後の評価において、決定係数 (
決定係数は、モデルが目的変数の変動をどれだけ説明できるかを示し、評価指標として広く使用されます。ただし、範囲が広く、解釈に少し難しさがあるため、ピアソン相関係数のほうが、線形回帰モデルにおいては解釈しやすく、より直感的な結果を得られる場合が多いです。
どちらの指標も、モデルの性能を把握し、改善点を見つけるために非常に重要です。
Discussion