スポンサーリンク

単回帰における推定量の期待値・分散・共分散

スポンサーリンク
 
投稿計量経済学中級
単回帰における推定量の期待値・分散・共分散の求め方を説明します。
スポンサーリンク
スポンサーリンク
スポンサーリンク

単回帰

 計量経済学において、単回帰を行うと、係数の推定量を得ることができます。

 次のような式について、最小二乗法を使う場合を考えます。

  $y_i = \alpha + \beta x_i + \epsilon_i \quad (i = 1 \, , \, \cdots \, , \, n) \quad \cdots \quad (1)$

 なお、誤差項$\epsilon_i$は、$\epsilon \sim N(0 \, , \, \sigma)$です。

 そうすると、最小二乗法により、$\hat{\alpha} \, , \, \hat{\beta}$をそれぞれの係数の推定量とすると、

  $\hat{\alpha} = \bar{y} \, – \, \hat{\beta} \bar{x}$

  $\hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(y_i \, – \, \bar{y})}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

を得ることができます(求め方は、「単回帰モデルにおける推定量の導出方法(数式)」を参考にしてください)。なお、$\bar{x} \, , \, \bar{y}$は平均です。

期待値・分散・共分散

 ところで、推定量$\hat{\alpha} \, , \, \hat{\beta}$は、確率変数なので、期待値・分散・共分散を求めることができます。

期待値

 モデルの$(1)$式から、

  $\bar{y} = \alpha + \beta \bar{x} + \bar{\epsilon}$

であり、モデル式とこの式の差をとると

  $y_i \, – \, \bar{y} = \beta (x_i \, – \, \bar{x}) + (\epsilon_i \, – \, \bar{\epsilon}) \quad \cdots \quad (2)$

となります。この$(2)$式を用いると、

  $\hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(y_i \, – \, \bar{y})}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(\beta (x_i \, – \, \bar{x}) + (\epsilon_i \, – \, \bar{\epsilon}))}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

   $= \beta + \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(\epsilon_i \, – \, \bar{\epsilon})}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} = \beta + \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})\epsilon_i}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

となります。

 この$\hat{\beta}$について、期待値をとると、

  $E(\hat{\beta}) = \beta + \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x}) E(\epsilon_i)}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} = \beta$

となり、$\hat{\alpha}$についても、期待値をとり、$(2)$式をもとに式変形すると

  $E(\hat{\alpha}) = E(\bar{y} \, – \, \hat{\beta} \bar{x}) = E(\alpha \, – \, (\hat{\beta} \, -\, \beta)\bar{x}) + \bar{\epsilon}) = \alpha \, – \, E(\hat{\beta} \, -\, \beta)\bar{x} + E(\bar{\epsilon}) = \alpha$

となります。

 以上をまとめると、期待値は、次の通りです。

  $E(\hat{\alpha}) = \alpha$

  $E(\hat{\beta}) = \beta$

分散

 まずは、$\hat{\beta}$の分散については、

  $V(\hat{\beta}) = E((\hat{\beta} \, – \, \beta)^2) = E \left[ \left( \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})\epsilon_i}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} \right)^2 \right] = \dfrac{\displaystyle \sum_{i=1}^n \sum_{j=1}^n (x_i \, – \, \bar{x})(x_j \, – \, \bar{x}) E(\epsilon_i \epsilon_j)}{\displaystyle \left( \sum_{i=1}^n (x_i \, – \, \bar{x})^2 \right)^2}$

ですが、最小二乗法の仮定から、

  $E(\epsilon_i \epsilon_j) = \sigma^2 \quad (i = j$のとき$)$

  $E(\epsilon_i \epsilon_j) = 0 \quad (i \neq j$のとき$)$

なので、

  $V(\hat{\beta}) = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2 \sigma^2}{\displaystyle \left( \sum_{i=1}^n (x_i \, – \, \bar{x})^2 \right)^2} = \dfrac{\sigma^2}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

となります。

 次に、$\hat{\alpha}$の分散については、

  $V(\hat{\alpha}) = E((\hat{\alpha} \, – \, \alpha)^2) = E[(- \, (\hat{\beta} \, – \, \beta)\bar{x} + \bar{\epsilon})^2] = E[(\hat{\beta} \, – \, \beta)^2 \bar{x}^2 \, – \, 2(\hat{\beta} \, – \, \beta) \bar{x}\bar{\epsilon} + \bar{\epsilon}^2]$

となります。

 ここで、

  第1項:$E[(\hat{\beta} \, – \, \beta)^2 \bar{x}^2] = \bar{x}^2 V(\hat{\beta})$

  第2項:$E[2(\hat{\beta} \, – \, \beta) \bar{x}\bar{\epsilon}] = 0$

  第3項:$E[\bar{\epsilon}^2] = \dfrac{\sigma^2}{n}$

なので、

  $V(\hat{\alpha}) = \dfrac{\sigma^2}{n} + \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

となります。

 以上をまとめると、次のようになります。

  $V(\hat{\alpha}) = \dfrac{\sigma^2}{n} + \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

  $V(\hat{\beta}) = \dfrac{\sigma^2}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

共分散

 共分散については、

  $Cov(\hat{\alpha} \, , \, \hat{\beta}) = E[(\hat{\alpha} \, – \, \alpha)(\hat{\beta} \, – \, \beta)] = E[ (- \, (\hat{\beta} \, – \, \beta)\bar{x} + \bar{\epsilon})(\hat{\beta} \, – \, \beta) ] = – \, E[(\hat{\beta} \, – \, \beta)^2] \bar{x} + E[\bar{\epsilon} (\hat{\beta} \, – \, \beta)]$

であり、第1項の期待値は$V(\hat{\beta})$で、第2項は$0$になることに注意すると、次のようになります。

  $Cov(\hat{\alpha} \, , \, \hat{\beta}) = – \, \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$

参考

  羽森茂之『ベーシック計量経済学

  鹿野繁樹『新しい計量経済学

スポンサーリンク
タイトルとURLをコピーしました