単回帰分析の最適解の解釈

最初に押さえておきたい要点

1. 単回帰は「データの中心 $(\bar{x}, \bar{y})$ を通る直線」のうち，残差平方和を最小にするものを探している。
2. その直線の傾き $\hat{a}$ は，「$x$ から $y$ へのスケール変換」を相関係数 $r_{xy}$ で“ぼやかした”形になっている。
   
   $$\hat{a} = r_{xy} \,\frac{\sigma_y}{\sigma_x}$$
3. 相関係数の絶対値 $|r_{xy}|$ が大きいほど「線形」に近い分布，小さいほど「線形ではとらえきれない」分布になる。
4. 切片 $\hat{b}$ は，「回帰直線がデータの中心を必ず通るようにするための調整項」であり，本質的には傾き $\hat{a}$ が直線の形状（勾配）を決める。

1. 単回帰の最適解

ここでは，観測データ

$$\{(x_i, y_i)\}_{i=1}^N$$

を用いて，回帰直線

$$y = ax + b$$

を当てはめる最も基本的なケース（単回帰分析）を考えます。最小二乗法により「残差平方和」を最小にする $\hat{a}, \hat{b}$ を求めると，下式で表されることが知られています。

$$\hat{a} = \frac{\sum_{i=1}^N (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^N (x_i - \bar{x})^2} ,\quad \hat{b} = \bar{y} - \hat{a}\,\bar{x}.$$

ここで

$$\bar{x} = \frac{1}{N}\sum_{i=1}^N x_i ,\quad \bar{y} = \frac{1}{N}\sum_{i=1}^N y_i$$

はそれぞれ $x, y$ の平均です。

1.1 切片 $\hat{b}$ の解釈

$\hat{b}$ の式をよく見ると，

$$\hat{b} = \bar{y} - \hat{a}\,\bar{x}$$

となっているため，「求める回帰直線が必ず $(\bar{x}, \bar{y})$ を通過する」ことを意味します。実際，式全体を

$$y = \bar{y} + \hat{a}(x - \bar{x})\quad \Longleftrightarrow \quad \Delta y = \hat{a}\, \Delta x$$

の形で書き換えると，$x$ の中心（$\bar{x}$）を座標原点のように考えて，その変化分 $\Delta x = x - \bar{x}$ に対して $y$ がどれくらい変化するのか（$\Delta y = y - \bar{y}$）を捉えているのだとわかります。

言い換えれば，単回帰分析では「データの中心 $(\bar{x}, \bar{y})$ を通る直線」の中で，残差平方和が最小になるような傾き $\hat{a}$ を選ぶわけです。そのときのシフト量（$\hat{b}$）は自動的に決まります。

1.2 傾き $\hat{a}$ の解釈

一方，$\hat{a}$ の式は

$$\hat{a} = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})} {\sum (x_i - \bar{x})^2}$$

となり，一見すると分かりにくいですが，「共分散」「分散」を使って書き直すと見通しがよくなります。
まず，データ数 $N$ で割ることでサンプル共分散・分散の形（厳密には $N$ ではなく $N-1$ で割る定義が多いですが，定数倍の違いなのでここでは気にしません）に直すと，

$$\hat{a} = \frac{\sigma_{xy}}{\sigma_x^2} ,\quad \sigma_{xy} = \frac{1}{N}\sum (x_i - \bar{x})(y_i - \bar{y}) ,\quad \sigma_x^2 = \frac{1}{N}\sum (x_i - \bar{x})^2.$$

ここで $\sigma_{xy}$ は $x$ と $y$ の「共分散」，$\sigma_x^2$ は $x$ の「分散」を表します。さらに，ピアソンの相関係数

$$r_{xy} = \frac{\sigma_{xy}}{\sigma_x \,\sigma_y}$$

を用いると，

$$\hat{a} = \frac{\sigma_{xy}}{\sigma_x^2} = \left(\frac{\sigma_{xy}}{\sigma_x \,\sigma_y}\right) \cdot \frac{\sigma_y}{\sigma_x} = r_{xy}\,\frac{\sigma_y}{\sigma_x}.$$

つまり，「$x$ から $y$ へのスケール変換（$\sigma_y / \sigma_x$）」を，相関係数（$r_{xy}$）で補正したものが傾き $\hat{a}$ というわけです。

• $\sigma_y / \sigma_x$: $x$ の変動スケールを $y$ の変動スケールへどれくらい伸縮するかを示す比率。
• $r_{xy}$: データが「どの程度，正負いずれかの直線上に散らばっているか（線形的に当てはまっているか）」の強さを表す指標。

$\hat{a}$ は，これらが掛け合わさったものであると見ると，式の意味合いをより深く把握できます。

2. 相関係数と回帰直線の関係

2.1 相関係数のイメージ例

ピアソンの相関係数 $r_{xy}$ は $-1 \le r_{xy} \le 1$ の実数値で，その大きさ（絶対値）が 1 に近いほど「直線的な」関係，0 に近いほど「直線的な関係が薄い」ことを意味します。視覚的な例として，Wikipedia などでよく示される下図を引用します。（引用元：ピアソンの積率相関係数 (wikipedia)）

• 完全に一直線のとき：$|r_{xy}| = 1$
• 水平線・垂直線・その他の形でも直線的な並びになれば，やはり $|r_{xy}|$ は 1 付近
• 散布がバラバラで，線形関係がないとき：$|r_{xy}| = 0$
• 非線形であっても，線形としてみれば相関は小さくなる

2.2 正相関と負相関

$r_{xy} > 0$ なら「正相関」，$r_{xy} < 0$ なら「負相関」と呼ばれます。これはデータの中心 $(\bar{x},\bar{y})$ から見たとき，$x$ の増減と $y$ の増減が同じ向きか／逆向きかを表しています。

• 正相関 ($r_{xy} > 0$): $x$ が増えるほど $y$ も増える分布
• 負相関 ($r_{xy} < 0$): $x$ が増えるほど $y$ は減る分布

2.3 線形的当てはまりの強さ

$|r_{xy}|$ が大きいほど，「$x$ と $y$ の間の線形関係がはっきりしている」ことになります。逆に $0$ に近い場合は，次のような状況を意味します。

• 「本当に何の関係もない（完全無相関）」
• 「線形ではない曲線的なパターン」や「クラスタが複数ある」など，単純な直線では捕まえられない形状

回帰直線を当てはめる場合，$|r_{xy}|$ が $0$ に近いほど，$x$ の情報は $y$ の予測にほぼ使えません。この場合には 傾き $\hat{a} = 0$ のモデル，つまり

$$y \approx \bar{y}$$

と予測するしかなくなります。このことから，$|r_{xy}|$ は「$y$ の予測に $x$ の情報をどれだけりようするか」を表す指標として捉えることもできます。

• $|r_{xy}| = 1$ なら「$x$ をフルに使う」（完全な線形関係）
• $|r_{xy}|$ が $0$ に近づくほど「$x$ の情報よりも，$y$ 自身の平均に頼る」
• $|r_{xy}| = 0$ なら「$x$ は全く使わず，$\bar{y}$ だけで予測してしまう」

2.4 スケール変換

$\sigma_x, \sigma_y$ はそれぞれ標準偏差であり，「$x, y$ の分布の典型的なズレの大きさ」を示す量です。もし $x$ と $y$ が完全に一直線上に並んでいるなら（$|r_{xy}| = 1$），データの中心から $x$ が $\sigma_x$ だけ動くと $y$ が $\sigma_y$ だけ動くので，直線の傾きが

$$\hat{a} = \pm\,\frac{\sigma_y}{\sigma_x}$$

（符号は正相関か負相関かで決まる）になるというわけです。

もし $y$ の分布がまったく広がらず（$\sigma_y = 0$），すべての点が同じ $y$ 値をとるなら，$x$ とは無関係に $y$ は一定となり，$\hat{a} = 0$ になります。これは直感的にも明らかで，$x$ からの情報を一切使わない場合には傾きが不要になるためです。

実際には $|r_{xy}| < 1$ であることが多いため，完全な一直線にはならず，線形関係がぼやける分だけ傾きが小さくなったり，符号が逆になったりします。要するに，

傾き $\hat{a}$ = 「$x$ をスケーリングして $y$ に合わせる変換」 × 「データの線形的当てはまり度合い」

という構造になっています。

3. まとめ

• 単回帰分析は，データの中心を必ず通る直線のうち，残差平方和を最小にするものを求める手法。

  • そのため，切片 $\hat{b} = \bar{y} - \hat{a} \bar{x}$ は「$(\bar{x},\bar{y})$ を通すためのシフト量」と理解できる。

• 傾き $\hat{a}$ は相関係数 $r_{xy}$ と分散・共分散が反映された量。

  • $\hat{a} = r_{xy}\,(\sigma_y / \sigma_x)$ という形で表されるため，「正負の相関の向き」「どのくらい直線的に当てはまるか」「$x \to y$ のスケール変換」がセットになっている。

• 相関係数 $|r_{xy}|$ は「直線的な当てはまりの強さ」の指標。

  • データが一直線に近いほど $|r_{xy}|$ は 1 に近くなる。
  • 逆に 0 に近いと，線形での予測はほとんど意味をなさない。

以上が単回帰分析の最適解 $\hat{a},\hat{b}$ と，相関係数 $r_{xy}$ の関係についての大まかなまとめです。「相関係数による補正」「中心 $(\bar{x},\bar{y})$ を通す」などの構造を意識すると，単回帰の式をより直感的に捉えられるはずです。