単回帰
計量経済学において、単回帰を行うと、係数の推定量を得ることができます。
次のような式について、最小二乗法を使う場合を考えます。
$y_i = \alpha + \beta x_i + \epsilon_i \quad (i = 1 \, , \, \cdots \, , \, n) \quad \cdots \quad (1)$
なお、誤差項$\epsilon_i$は、$\epsilon \sim N(0 \, , \, \sigma)$です。
そうすると、最小二乗法により、$\hat{\alpha} \, , \, \hat{\beta}$をそれぞれの係数の推定量とすると、
$\hat{\alpha} = \bar{y} \, – \, \hat{\beta} \bar{x}$
$\hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(y_i \, – \, \bar{y})}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
を得ることができます（求め方は、「単回帰モデルにおける推定量の導出方法（数式）」を参考にしてください）。なお、$\bar{x} \, , \, \bar{y}$は平均です。
期待値・分散・共分散
ところで、推定量$\hat{\alpha} \, , \, \hat{\beta}$は、確率変数なので、期待値・分散・共分散を求めることができます。
期待値
モデルの$(1)$式から、
$\bar{y} = \alpha + \beta \bar{x} + \bar{\epsilon}$
であり、モデル式とこの式の差をとると
$y_i \, – \, \bar{y} = \beta (x_i \, – \, \bar{x}) + (\epsilon_i \, – \, \bar{\epsilon}) \quad \cdots \quad (2)$
となります。この$(2)$式を用いると、
$\hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(y_i \, – \, \bar{y})}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(\beta (x_i \, – \, \bar{x}) + (\epsilon_i \, – \, \bar{\epsilon}))}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
$= \beta + \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})(\epsilon_i \, – \, \bar{\epsilon})}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} = \beta + \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})\epsilon_i}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
となります。
この$\hat{\beta}$について、期待値をとると、
$E(\hat{\beta}) = \beta + \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x}) E(\epsilon_i)}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} = \beta$
となり、$\hat{\alpha}$についても、期待値をとり、$(2)$式をもとに式変形すると
$E(\hat{\alpha}) = E(\bar{y} \, – \, \hat{\beta} \bar{x}) = E(\alpha \, – \, (\hat{\beta} \, -\, \beta)\bar{x}) + \bar{\epsilon}) = \alpha \, – \, E(\hat{\beta} \, -\, \beta)\bar{x} + E(\bar{\epsilon}) = \alpha$
となります。
以上をまとめると、期待値は、次の通りです。
$E(\hat{\alpha}) = \alpha$
$E(\hat{\beta}) = \beta$
分散
まずは、$\hat{\beta}$の分散については、
$V(\hat{\beta}) = E((\hat{\beta} \, – \, \beta)^2) = E \left[ \left( \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})\epsilon_i}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2} \right)^2 \right] = \dfrac{\displaystyle \sum_{i=1}^n \sum_{j=1}^n (x_i \, – \, \bar{x})(x_j \, – \, \bar{x}) E(\epsilon_i \epsilon_j)}{\displaystyle \left( \sum_{i=1}^n (x_i \, – \, \bar{x})^2 \right)^2}$
ですが、最小二乗法の仮定から、
$E(\epsilon_i \epsilon_j) = \sigma^2 \quad (i = j$のとき$)$
$E(\epsilon_i \epsilon_j) = 0 \quad (i \neq j$のとき$)$
なので、
$V(\hat{\beta}) = \dfrac{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2 \sigma^2}{\displaystyle \left( \sum_{i=1}^n (x_i \, – \, \bar{x})^2 \right)^2} = \dfrac{\sigma^2}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
となります。
次に、$\hat{\alpha}$の分散については、
$V(\hat{\alpha}) = E((\hat{\alpha} \, – \, \alpha)^2) = E[(- \, (\hat{\beta} \, – \, \beta)\bar{x} + \bar{\epsilon})^2] = E[(\hat{\beta} \, – \, \beta)^2 \bar{x}^2 \, – \, 2(\hat{\beta} \, – \, \beta) \bar{x}\bar{\epsilon} + \bar{\epsilon}^2]$
となります。
ここで、
第１項：$E[(\hat{\beta} \, – \, \beta)^2 \bar{x}^2] = \bar{x}^2 V(\hat{\beta})$
第２項：$E[2(\hat{\beta} \, – \, \beta) \bar{x}\bar{\epsilon}] = 0$
第３項：$E[\bar{\epsilon}^2] = \dfrac{\sigma^2}{n}$
なので、
$V(\hat{\alpha}) = \dfrac{\sigma^2}{n} + \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
となります。
以上をまとめると、次のようになります。
$V(\hat{\alpha}) = \dfrac{\sigma^2}{n} + \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
$V(\hat{\beta}) = \dfrac{\sigma^2}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
共分散
共分散については、
$Cov(\hat{\alpha} \, , \, \hat{\beta}) = E[(\hat{\alpha} \, – \, \alpha)(\hat{\beta} \, – \, \beta)] = E[ (- \, (\hat{\beta} \, – \, \beta)\bar{x} + \bar{\epsilon})(\hat{\beta} \, – \, \beta) ] = – \, E[(\hat{\beta} \, – \, \beta)^2] \bar{x} + E[\bar{\epsilon} (\hat{\beta} \, – \, \beta)]$
であり、第１項の期待値は$V(\hat{\beta})$で、第２項は$0$になることに注意すると、次のようになります。
$Cov(\hat{\alpha} \, , \, \hat{\beta}) = – \, \dfrac{\sigma^2 \bar{x}}{\displaystyle \sum_{i=1}^n (x_i \, – \, \bar{x})^2}$
参考
羽森茂之『ベーシック計量経済学』
鹿野繁樹『新しい計量経済学』