最小二乗法における推定結果の特徴

前提

　次のような基本的な単回帰を考えます。

　　$Y_i =a + b X_i + e_i$

　なお、基本的な単回帰なので次を仮定します。

　　$E(e_i) = 0$

　　$Var(e_i) = \sigma^2$

　　$Cov(e_i \, , \, e_j) = 0$

　　$e_i \sim N(0 \, , \, \sigma^2)$

　このとき、偏差二乗和$S_{XX} \, , \, S_{YY}$と偏差積和$S_{XY}$を得ることができます（バーは平均）。

　　$\displaystyle S_{XX} = \sum_{i=1}^n (X_i \; -\; \bar{X})^2 = \sum_{i=1}^n X_i^2 \; -\; n \bar{X}^2$

　　$\displaystyle S_{YY} = \sum_{i=1}^n (Y_i \; -\; \bar{Y})^2 = \sum_{i=1}^n Y_i^2 \; -\; n \bar{Y}^2$

　　$\displaystyle S_{XY} = \sum_{i=1}^n (X_i \; -\; \bar{X})(Y_i \; -\; \bar{Y}) = \sum_{i=1}^n X_i Y_i \; -\; n \bar{X}\bar{Y}$

　これをもとに、推定結果などに関する特徴をまとめています。

　OLSを行うと、定数・係数の推定量が得られます。

【定数・係数】
　定数・係数の推定量は、次のとおり。

　　$\hat{a} = \bar{Y} \; – \; \hat{b} \bar{X}$

　　$\hat{b} = \dfrac{S_{XY}}{S_{XX}}$

【線形性】（線形推定量）
　定数・係数の推定量は、任意の$w_i^a \, , \, w_i^b$について、次のように表せ、線形性を有しています。

　　$\displaystyle \hat{a} = \sum_{i=1}^n w_i^Y Y_i$

　　$\displaystyle \hat{b} = \sum_{i=1}^n w_i^b Y_i$

　なお、

　　$w_i^b = \dfrac{X_i \; – \; \bar{X}}{S_{XX}} \quad , \quad w_i^a = \sum_{i=1}^n \left( \dfrac{1}{n} \; – \; \bar{X} w_i^b \right) Y_i$

【推定量の平均・分散】

　　$E(\hat{a}) = a$（不偏推定量）　$, \quad Var(\hat{a}) = \sigma \left( \dfrac{1}{n} + \dfrac{\bar{X}}{S_{XX}} \right)$

　　$E(\hat{b}) = b$（不偏推定量）　$, \quad Var(\hat{b}) = \dfrac{\sigma^2}{S_{XX}}$

【最良線形不偏推定量】
　ガウス=マルコフの定理から、定数・係数の推定量は、最小の分散を持ち、最良線形不偏推定量（BLUE）とされます。

【推定量の一致性】

　　$\mathrm{plim} \; \hat{a} = a$（一致推定量）

　　$\mathrm{plim} \; \hat{b} = b$（一致推定量）

【推定式】

　　$\hat{Y}_i = \hat{a} + \hat{b} X_i + u_i$

【推定式の別表現】

　　$\hat{Y}_i \; – \; \bar{Y}= \hat{b} (X_i \; – \; \bar{X})$

【平均値による予測値】
　$X_i$が平均値のとき、$\hat{Y}_i$は平均値を通ります。

　　$X_i=\bar{X}$のとき、$\hat{Y}_i = \bar{Y}$

【予測値の平均】
　予測値$\hat{Y}_i$の平均は、$\bar{Y}$と等しくなります。

　　$\displaystyle \bar{\hat{Y}} = \dfrac{1}{n} \sum_{i=1}^n \hat{Y}_i = \bar{Y}$

【残差との偏差積和】
　残差$u_i$と$X_i$や$\hat{Y_i}$の偏差積和はゼロになります。

　　$S_{Xu} = 0$

　　$S_{\hat{Y}u} = 0$

　　黒住英司『計量経済学』