5 通常の最小二乗法(3)検定
母回帰係数の推定値である \hat{\beta_{0}} と \hat{\beta_{1}} は手許の標本から得られたデータをもとに計算されたことを思い出してください。当然ながら、別の標本から得られたデータを用いれば、同じ推定量(つまり、計算式)でも異なる推定値になります。そうであれば、仮に手許の標本から得られた推定値が \hat{\beta_{1}}\not=0 であっても、それは単に偶然の産物かもしれません。そこで、「本当は \beta_{1}=0 なのに、偶然に手許の標本から \hat{\beta_{1}}\not =0 が得られた」という仮説を立て、それが正しいか否かを検証しましょう。こうした過程を統計的検定(statistical test)といいます。
5.1 OLS 推定量の分布
いま、誤差項 u_{i} が独立で共通の正規分布
\begin{align}
\operatorname{N}(0, \sigma^{2}) \tag{5.1}
\end{align}
に従うとします(誤差項の正規性の仮定、normality of errors assumption)。ところで、これまでの議論から、OLS 推定量 \hat{\beta_{1}} は
\begin{align}
\hat{\beta_{1}}=& \beta_{1}+ \sum_{i=1}^{n}c_{i}u_{i} \tag{4.6}
\end{align}
であることがわかっています。ただし、
\begin{align}
c_{i}:=\frac{x_{i}-\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}} \tag{4.2}
\end{align}
です。このとき、正規分布の性質として \hat{\beta_{1}} もやはり正規分布に従うことが知られています(正規分布の再生性、reproductive property of the normal distribution)。さらに、前項の (4.7)、(4.12) 式より OLS 推定量 \hat{\beta_{1}} の期待値と分散はわかっているので、
\begin{align}
\hat{\beta_{1}}\sim\operatorname{N}\left(\beta_{1}, \frac{\sigma^{2}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}}\right) \tag{5.2}
\end{align}
になります。
5.2 t 検定
\hat{\beta_{1}} が正規分布に従うなら、\hat{\beta_{1}} を標準化(standardization)した
\begin{align}
z:=\frac{\hat{\beta_{1}}-\beta_{1}}{\sqrt{\sigma^{2}/\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}}} \tag{5.3}
\end{align}
は標準正規分布(standard normal distribution)に従います。
もっとも、\sigma^{2} は誤差項の真の分散であって観察することはできません。そこで、その推定量である不偏分散 \hat{\sigma}^{2} に置き換えると、
\begin{align}
t:=\frac{\hat{\beta_{1}}-\beta_{1}}{\operatorname{se}(\hat{\beta_{1}})} \tag{5.4}
\end{align}
を得ます。これを t 統計量(t-statistic)といいます。ただし、
\begin{align}
\operatorname{se}(\hat{\beta_{1}}):=&\sqrt{\frac{\hat{\sigma}^{2}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}}} \notag \\
=&\frac{\hat{\sigma}}{\sqrt{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}}}
\end{align} \tag{5.5}
です。(5.5) 式は手許の標本から推定された \hat{\beta_{1}} の標準偏差であり、特に標準誤差(standard error,se)と呼ばれます。t 統計量は確率変数であり、ここでは自由度 n-2 の t 分布(t-distribution)に従うことが知られています。
ところで、一般に棄却されることが期待される仮説を帰無仮説(null hypothesis) H_{0} といい、帰無仮説が棄却されることで自ずと受容される仮説を対立仮説(alternative hypothesis) H_{1} といいます。例えば、多くの場合は説明変数の変化が被説明変数にもたらす限界効果の有無に関心があるので、
\begin{align}
H_{0}: \beta_{1}=0 \notag \\
H_{1}: \beta_{1}\not =0 \notag
\end{align}
になります。
(5.4) 式に手許の標本から推定された \hat{\beta_{1}} と帰無仮説(ここでは、\beta_{1}=0)を代入して計算される t 値(t-value)の絶対値は、
1. \hat{\beta_{1}} の絶対値が大きい
2. \hat{\beta_{1}} の標準誤差が小さい
ほど大きな値をとることがわかります。例えば、母集団において \beta_{1}=0 であるにもかかわらず、十分に大きなサイズの手許の標本から偶然にも t 値の絶対値が 2 を超えるような事象は、5% 以下の確率でしか起きないことが知られています。そうであれば、そのような稀な事象が偶然に起こったと考えるよりも、そもそも \beta_{1}=0 という帰無仮説が間違っていたと判断する方が合理的といえるでしょう。このことを、「(統計的)有意水準(significance level)5% で帰無仮説を棄却(rejecting)する」と表現します。
統計的検定で用いられる有意水準は専門領域によってまちまちですが、一般に経済学をはじめとする社会諸科学では 1%、5%、10% を用いることがほとんどです。このような t 統計量を検定統計量(test statistic)とする統計的検定を t 検定(t-test)といいます。なお、本来は t 分布表を参照しないと統計的有意性(statistical significance)を判断できません。しかし、統計ソフトウェアは帰無仮説 H_{0} が真である場合に t 値の絶対値が手許の標本から計算された値かそれ以上の大きさとなる確率すなわち p 値(p-value)を出力します。この p 値を用いれば、t 分布表をいちいち参照しなくても、p 値を 100 倍した値を設定した有意水準と比較することで統計的有意性を判断することができます。具体的には、手許の標本から計算された p 値を 100 倍した値(すなわち、% 表示の p 値)が設定した有意水準(1%、5%、10%)よりも小さい場合、帰無仮説 H_{0} を棄却します(下図参照)。反対に、手許の標本から計算された p 値を 100 倍した値(すなわち、% 表示の p 値)が設定した有意水準(1%、5%、10%)よりも大きい場合、帰無仮説 H_{0} は棄却できません。

Discussion