はじめに
$n$個のデータについて、次のような単回帰モデルを考えます。
$y_n = \alpha + \beta x_n + u_t$
このとき、定数$\alpha$、係数$\beta$について、最小二乗法による推定量を$\hat{\alpha}$、$\hat{\beta}$とし計算すると、
$\displaystyle \hat{\alpha} = \bar{y} \; – \; \hat{\beta} \bar{x} \quad \cdots \quad (1)$
$\displaystyle \hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \; – \; \bar{x})(y_i \; – \; \bar{y})}{\displaystyle \sum_{i=1}^n ( x_i \; – \; \bar{x})^2} \quad \cdots \quad (2)$
を得ることができます。
なおここで、$\bar{x}$、$\bar{y}$は、次の通りです。
$\displaystyle \bar{x} = \dfrac{1}{n} \sum_{i=1}^n x_i \quad \cdots \quad (3)$
$\displaystyle \bar{y} = \dfrac{1}{n} \sum_{i=1}^n y_i \quad \cdots \quad (4)$
ところで、この2式は導出方法はどのような計算が行われているのでしょうか。
計算しようとしたときに、躓くポイントもあるので、特にうまく導出できない方は参考にしてください。
導出方法
誤差項の二乗和を$V$とすると、
$\displaystyle V = \sum_{i=1}^n u_t^2 = \sum_{i=1}^n (y_n \; – \; \hat{\alpha} \; – \; \hat{\beta} x_n)^2$
と定義できます。
最小二乗法なので、この$V$を最小化することになるので、$V$を$\hat{\alpha}$と$\hat{\beta}$で微分し0とすることになります。
$\displaystyle \dfrac{\partial V}{\partial \hat{\alpha}} = – 2 \sum_{i=1}^n (y_t \; – \; \hat{\alpha} \; – \; \hat{\beta} x_i) = 0$
$\displaystyle \dfrac{\partial V}{\partial \hat{\beta}} = – 2 \sum_{i=1}^n (y_t \; – \; \hat{\alpha} \; – \; \hat{\beta} x_i)x_i = 0$
この式を整理すると、
$\displaystyle n \hat{\alpha} + \hat{\beta} \sum_{i=1}^n x_i = \sum_{i=1}^n y_i \quad \cdots \quad (5)$
$\displaystyle \hat{\alpha} \sum_{i=1}^n x_i + \hat{\beta} \sum_{i=1}^n x_i^2 = \sum_{i=1}^n x_i y_i \quad \cdots \quad (6)$
となります。
(1)式の導出
$(5)$式について、両辺を$n$で割ると、
$\displaystyle \hat{\alpha} + \dfrac{1}{n} \hat{\beta} \sum_{i=1}^n x_i = \dfrac{1}{n} \sum_{i=1}^n y_i$
となり、$(3)(4)$式を使うと、
$\displaystyle \hat{\alpha} + \hat{\beta} \bar{x} = \bar{y}$
なので、$(1)$式を得ることができます。
(2)式の導出
$(6)$式に$(1)$式を代入し、$\hat{\alpha}$をキャンセルすると、
$\displaystyle (\bar{y} \; – \; \hat{\beta} \bar{x}) \sum_{i=1}^n x_i + \hat{\beta} \sum_{i=1}^n x_i^2 = \sum_{i=1}^n x_i y_i \quad \cdots \quad (6)$
となり、$\hat{\beta}$について整理すると、
$\displaystyle \hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n x_i y_i \; – \; \bar{y} \sum_{i=1}^n x_i}{\displaystyle \sum_{i=1}^n x^2 \; – \; \bar{x} \sum_{i=1}^n x_i}$
となります。更に、分母・分子に$1/n$を掛け、$(3)$式を使うと、
$\displaystyle \hat{\beta} = \dfrac{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x_i y_i \; – \; \bar{y} \dfrac{1}{n} \sum_{i=1}^n x_i}{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x^2 \; – \; \bar{x} \dfrac{1}{n} \sum_{i=1}^n x_i} = \dfrac{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x_i y_i \; – \; \bar{x} \bar{y}}{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x_i^2 \; – \; \bar{x}^2} \quad \cdots \quad (7)$
を得ることができます。
ここで、$(3)(4)$式を使うと、次のような二式が成り立っていることに注意します（ここが一つのポイントです）。
$\displaystyle \dfrac{1}{n} \sum_{i=1}^n (x_i \; – \; \bar{x})^2 = \dfrac{1}{n} \sum_{i=1}^n ( x_i^2 \; – \; 2 x_i \bar{x} + \bar{x}^2)$
$\displaystyle = \dfrac{1}{n} \sum_{i=1}^n x_i^2 \; – \; 2 \bar{x} \dfrac{1}{n} \sum_{i=1}^n x_i + \dfrac{1}{n} \sum_{i=1}^n \bar{x}^2$
$\displaystyle = \dfrac{1}{n} \sum_{i=1}^n x^2 \; – \; \bar{x}^2$
$\displaystyle \dfrac{1}{n} \sum_{i=1}^n (x_i \; – \; \bar{x})(y_i \; – \; \bar{y}) = \dfrac{1}{n} \sum_{i=1}^n ( x_i y_i \; – \; x_i \bar{y} \; – \; \bar{x} y_i + \bar{x} \bar{y})$
$\displaystyle= \dfrac{1}{n} \sum_{i=1}^n x_i y_i – \; \bar{y} \sum_{i=1}^n x_i \; – \; \bar{x} \sum_{i=1}^n y_i + \sum_{i=1}^n \bar{x} \bar{y}$
$\displaystyle = \dfrac{1}{n} \sum_{i=1}^n x_i y_i \; – \; \bar{x} \bar{y}$
この2つの式の右辺は、$(7)$式における分母と分子を表しているので、$(7)$に代入すると、
$\displaystyle \hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \; – \; \bar{x})(y_i \; – \; \bar{y})}{\displaystyle \sum_{i=1}^n ( x_i \; – \; \bar{x})^2}$
となり、$(2)$式を得ることができます。
参考
羽森茂之『ベーシック計量経済学』
国沢清典・羽鳥裕久『数理統計演習』