スポンサーリンク

OLSにおける推定量が不偏推定量になることの証明

スポンサーリンク
 
投稿計量経済学中級
OLS(単回帰)において、どうして係数の推定量が不偏推定量になるのか、証明します。
スポンサーリンク
スポンサーリンク
スポンサーリンク

はじめに

 データ数を$n$として、次のような単回帰モデルを考えます($u_i$は誤差項)。

  $Y_i = a + b X_i + u_i \quad \cdots \quad (1)$

 このとき、推定量$\hat{a} \, , \, \hat{b}$について、

  $E(\hat{a}) = a$

  $E(\hat{b}) = b$

となり、不偏推定量であることが分かります。

 これについて、どうしてこうなるのかを証明したいと思います。

証明

 OLSを行うと、$a$と$b$の推定量は、次のようになります(なお、$\bar{X} \, , \, \bar{Y}$は、$X \, , \, Y$の平均)。

  $\hat{a} = \bar{Y} \; – \; \hat{b} \bar{X} \quad \cdots \quad (2)$

  $\displaystyle \hat{b} = \dfrac{\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})(Y_i \; – \; \bar{Y})}{\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})^2} \quad \cdots \quad (3)$

$\hat{b}$について

 まずは、係数の$\hat{b}$について考えます。
 $(3)$式において、$\sum (X_i\; – \; \bar{X})= 0$に注意し、分母と分子を整理します。

  分母:$\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})(Y_i \; – \; \bar{Y}) = \sum_{i=1}^n (X_i \; – \; \bar{X})Y_i \; – \; \bar{Y} \sum_{i=1}^n (X_i \; – \; \bar{X}) = \sum_{i=1}^n (X_i \; – \; \bar{X})Y_i$

  分子:$\displaystyle \sum_{i=1}^n (X_i \; – \; \bar{X})^2 = \sum_{i=1}^n (X_i^2 \; – \; 2 X_i \bar{X} + \bar{X}^2) = \sum_{i=1}^n (X_i^2 \; – \; n \bar{X}^2)$

であり、

  $w_i = \dfrac{X_i \; – \; \bar{X}}{\displaystyle \sum_{i=1}^n X_i^2 \; – \; n \bar{X}^2}$

とすると、$(3)$式は、次のようになります。

  $\displaystyle \hat{b} = \sum_{i=1}^n w_i Y_i$

 この式に、$(1)$式を代入し、$Y_i$をキャンセルすると、

  $\displaystyle \hat{b} = \sum_{i=1}^n w_i (a + b X_i + u_i) = a \sum_{i=1}^n w_i + b \sum_{i=1}^n w_i X_i +\sum_{i=1}^n w_i u_i$

であり、$\sum w_i = 0 \, , \, \sum w_i X_i=1$であることに注意すると、

  $\displaystyle \hat{b} = b +\sum_{i=1}^n w_i u_i$

となります。

 ここで、期待値をとると

  $\displaystyle E(\hat{b}) = b + E\left( \sum_{i=1}^n w_i u_i \right) = b + \sum_{i=1}^n w_i E(u_i)$

であり、回帰分析の誤差項に関する仮定である$E(u_i)=0$を使うと、

  $\displaystyle E(\hat{b}) = b$

となり、$\hat{b}$が不偏推定量であることが分かります。

$\hat{a}$について

 次に、$\hat{a}$について考えますが、まずは、$\bar{Y}$について、$(1)$式から

  $\displaystyle \bar{Y} = \dfrac{1}{n} \sum_{i=1}^n Y_i = \dfrac{1}{n} \sum_{i=1}^n (a + b X_i + u_i) = a + b \bar{X} + \dfrac{1}{n} \sum_{i=1}^n u_i$

となります。これを$(2)$式に代入すると、

  $\displaystyle \hat{a} = a + b \bar{X} + \dfrac{1}{n} \sum_{i=1}^n u_i \; – \; \hat{b} \bar{X} = a + (b \; – \; \hat{b})\bar{X} + \dfrac{1}{n} \sum_{i=1}^n u_i$

となります。

 ここで期待値をとると、

  $\displaystyle E(\hat{a}) = a + E((b \; – \; \hat{b})\bar{X}) + \dfrac{1}{n} \sum_{i=1}^n E(u_i)$

となりますが、$b=E(\hat{b})$と$E(u_i)=0$から、

  $E(\hat{a}) = a$

となり、$\hat{a}$が不偏推定量であることが分かります。

まとめ

 以上から、推定量について、係数・定数共に、不偏推定量になることが分かります。

 ただ、上記の式から分かるように、回帰分析の誤差項に関する仮定である

  $E(u_i)=0$

が効いています。

 逆に言えば、この仮定がなければ、回帰分析において、推定量は不偏推定量にはならないことを意味しています。

参考

  鹿野繁樹『新しい計量経済学

スポンサーリンク
タイトルとURLをコピーしました