はじめに
計量経済学の基本として、回帰分析があります。そして、推定した係数について判断するために、t値が使われます。
基本的な内容であり、当たり前のようにt値を見ている方も多いでしょう。
しかし、なぜt値が使われるのかを聞かれると、説明に困る方も多いのではないでしょうか。
正直言えば、この説明ができなくても、分析上は困ることはないかもしれませんが、ここでは、しっかりとその理由について、説明していきたいと思います。
全体像
細かな説明に入る前に、全体像をつかんでおきましょう。t値について、次のような流れとなっています。
①回帰分析で係数の推定する
②推定量が正規分布に従う
③正規分布を標準正規分布にする
④分散が未知数であり、分散を推定する
⑤t分布に従う
⑥帰無仮説を元にt検定を行う
t値について
前提
t値について考える前に、まずは前提として、次のような単回帰を考えるものとします。
$y_i = \alpha + \beta x_i + \epsilon_i \quad (i = 1 \, , \, \cdots \, , \, n)$
なお、誤差項$\epsilon_i$は、$\epsilon \sim N(0 \, , \, \sigma)$です。
①回帰分析で係数の推定する
これを最小二乗法で係数について、推定量を求めると、
$\hat{\alpha} = \bar{y} \, – \, \hat{\beta} \bar{x}$
$\hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(y_i \, – \, \bar{y})}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
となります。
なお、$\hat{\alpha} \, , \, \hat{\beta}$は推定量であり、$\bar{x} \, , \, \bar{y}$は平均です。
この推定量の求め方は、「単回帰モデルにおける推定量の導出方法（数式）」を参考にしてください。
②推定量が正規分布に従う
推定量は確率変数なので、期待値と分散を計算すると、次のようになります。
$E(\hat{\alpha}) = \alpha$
$E(\hat{\beta}) = \beta$
$V(\hat{\alpha}) = \dfrac{\sigma^2}{n} + \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
$V(\hat{\beta}) = \dfrac{\sigma^2}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
なお、これの求め方については、「回帰分析の係数の検定で、なぜt値（t検定）が使われるのか」を見てください。
このことから、推定量$\hat{\alpha} \, , \, \hat{\beta}$は、次のような正規分布に従うことになります。
$\displaystyle \hat{\alpha} \sim N\left[ \alpha \, , \, \dfrac{\sigma^2}{n} + \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} \right]$
$\displaystyle \hat{\beta} \sim N\left[ \beta \, , \, \dfrac{\sigma^2}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} \right]$
③正規分布を標準正規分布にする
ここで、便宜上、次のような$S_\alpha$と$S_\beta$を定義します。
$S_\alpha = \dfrac{1}{n} + \dfrac{1 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
$S_\beta = \dfrac{1}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
とすると、
$\displaystyle \hat{\alpha} \sim N \left[\alpha \, , \, \dfrac{\sigma^2}{S_\alpha} \right]$
$\displaystyle \hat{\beta} \sim N \left[\beta \, , \, \dfrac{\sigma^2}{S_\beta} \right]$
となるわけですが、この推定量$\hat{\alpha} \, , \, \hat{\beta}$は正規分布に従っており、期待値で差をとり、標準偏差で割ると、標準化でき、標準正規分布に従うことになります。
$\dfrac{\hat{\alpha} \, – \, \alpha}{\sigma \sqrt{S_\alpha}} \sim N(0 \, , \, 1)$
$\dfrac{\hat{\beta} \, – \, \beta}{\sigma \sqrt{S_\beta}} \sim N(0 \, , \, 1)$
④分散が未知数であり、分散を推定する
上記の標準正規分布をもとに検定をすればいいのですが、$\sigma$があり、真の$\sigma$は分かりません。
そこで、$\sigma$も推定する必要があり、残差を用いて、次のようになります。
$\hat{\sigma} = \dfrac{\displaystyle \sum_{1=1}^n (y_i \, – \, \hat{\alpha} \, – \, \hat{\beta})^2}{n \, – \, 2}$
なお、$n \, – \, 2$となっているのは、2つの推定量を推定することから、自由度が$2$小さくなっています。
⑤t分布に従う
推定した分散を用いて、標準正規分布に当てはめればいいのですが、このとき、推定した分散があるので、自由度$n \, – \, 2$のt分布に従うことになります。
$t_\alpha = \dfrac{\hat{\alpha} \, – \, \alpha}{\hat{\sigma} \sqrt{S_\alpha}} \sim t(n \, – \, 2)$
$t_\beta = \dfrac{\hat{\beta} \, – \, \beta}{\hat{\sigma} \sqrt{S_\beta}} \sim t(n \, – \, 2)$
⑥帰無仮説を元にt検定を行う
検定を行うために、帰無仮説を立てます。$\alpha \, , \, \beta$それぞれについては、次のようになります。
$\alpha$： $H_0 : \alpha = 0 \quad , \quad H_1 : \alpha \neq 0$
$\beta$： $H_0 : \beta = 0 \quad , \quad H_1 : \beta \neq 0$
このとこから、t値は、
$t_\alpha = \dfrac{\hat{\alpha}}{\hat{\sigma} \sqrt{S_\alpha}}$
$t_\beta = \dfrac{\hat{\beta}}{\hat{\sigma} \sqrt{S_\beta}}$
となり、自由度$n \, – \, 2$のt分布を用いて、検定を行います。
t値が$0$に近ければ、帰無仮説を棄却できず、t値が大きければ、帰無仮説を棄却することができ、推定量は有意な値となります。
参考
羽森茂之『ベーシック計量経済学』
鹿野繁樹『新しい計量経済学』
加納悟・浅子和美・竹内明香『入門 経済のための統計学』