はじめに
データ数を$n$として、次のような単回帰モデルを考えます（$u_i$は誤差項）。
$Y_i = a + b X_i + u_i \quad \cdots \quad (1)$
このとき、推定量$\hat{a} \, , \, \hat{b}$について、
$E(\hat{a}) = a$
$E(\hat{b}) = b$
となり、不偏推定量であることが分かります。
これについて、どうしてこうなるのかを証明したいと思います。
証明
OLSを行うと、$a$と$b$の推定量は、次のようになります（なお、$\bar{X} \, , \, \bar{Y}$は、$X \, , \, Y$の平均）。
$\hat{a} = \bar{Y} \; – \; \hat{b} \bar{X} \quad \cdots \quad (2)$
$\displaystyle \hat{b} = \dfrac{\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})(Y_i \; – \; \bar{Y})}{\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})^2} \quad \cdots \quad (3)$
$\hat{b}$について
まずは、係数の$\hat{b}$について考えます。
$(3)$式において、$\sum (X_i\; – \; \bar{X})= 0$に注意し、分母と分子を整理します。
分母：$\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})(Y_i \; – \; \bar{Y}) = \sum_{i=1}^n (X_i \; – \; \bar{X})Y_i \; – \; \bar{Y} \sum_{i=1}^n (X_i \; – \; \bar{X}) = \sum_{i=1}^n (X_i \; – \; \bar{X})Y_i$
分子：$\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})^2 = \sum_{i=1}^n (X_i^2 \; – \; 2 X_i \bar{X} + \bar{X}^2) = \sum_{i=1}^n (X_i^2 \; – \; n \bar{X}^2)$
であり、
$w_i = \dfrac{X_i \; – \; \bar{X}}{\displaystyle \sum_{i=1}^n X_i^2 \; – \; n \bar{X}^2}$
とすると、$(3)$式は、次のようになります。
$\displaystyle \hat{b} = \sum_{i=1}^n w_i Y_i$
この式に、$(1)$式を代入し、$Y_i$をキャンセルすると、
$\displaystyle \hat{b} = \sum_{i=1}^n w_i (a + b X_i + u_i) = a \sum_{i=1}^n w_i + b \sum_{i=1}^n w_i X_i +\sum_{i=1}^n w_i u_i$
であり、$\sum w_i = 0 \, , \, \sum w_i X_i=1$であることに注意すると、
$\displaystyle \hat{b} = b +\sum_{i=1}^n w_i u_i$
となります。
ここで、期待値をとると
$\displaystyle E(\hat{b}) = b + E\left( \sum_{i=1}^n w_i u_i \right) = b + \sum_{i=1}^n w_i E(u_i)$
であり、回帰分析の誤差項に関する仮定である$E(u_i)=0$を使うと、
$\displaystyle E(\hat{b}) = b$
となり、$\hat{b}$が不偏推定量であることが分かります。
$\hat{a}$について
次に、$\hat{a}$について考えますが、まずは、$\bar{Y}$について、$(1)$式から
$\displaystyle \bar{Y} = \dfrac{1}{n} \sum_{i=1}^n Y_i = \dfrac{1}{n} \sum_{i=1}^n (a + b X_i + u_i) = a + b \bar{X} + \dfrac{1}{n} \sum_{i=1}^n u_i$
となります。これを$(2)$式に代入すると、
$\displaystyle \hat{a} = a + b \bar{X} + \dfrac{1}{n} \sum_{i=1}^n u_i \; – \; \hat{b} \bar{X} = a + (b \; – \; \hat{b})\bar{X} + \dfrac{1}{n} \sum_{i=1}^n u_i$
となります。
ここで期待値をとると、
$\displaystyle E(\hat{a}) = a + E((b \; – \; \hat{b})\bar{X}) + \dfrac{1}{n} \sum_{i=1}^n E(u_i)$
となりますが、$b=E(\hat{b})$と$E(u_i)=0$から、
$E(\hat{a}) = a$
となり、$\hat{a}$が不偏推定量であることが分かります。
まとめ
以上から、推定量について、係数・定数共に、不偏推定量になることが分かります。
ただ、上記の式から分かるように、回帰分析の誤差項に関する仮定である
$E(u_i)=0$
が効いています。
逆に言えば、この仮定がなければ、回帰分析において、推定量は不偏推定量にはならないことを意味しています。
参考
鹿野繁樹『新しい計量経済学』