スポンサーリンク

単回帰モデルにおける推定量の導出方法(数式)

スポンサーリンク
 
投稿計量経済学中級
単回帰モデルにおける推定量の導出方法を、丁寧に説明したいと思います。うまく導出できない方は、参考にしてください。
スポンサーリンク
スポンサーリンク
スポンサーリンク

はじめに

 $n$個のデータについて、次のような単回帰モデルを考えます。

  $y_n = \alpha + \beta x_n + u_t$

 このとき、定数$\alpha$、係数$\beta$について、最小二乗法による推定量を$\hat{\alpha}$、$\hat{\beta}$とし計算すると、

  $\displaystyle \hat{\alpha} = \bar{y} \; – \; \hat{\beta} \bar{x} \quad \cdots \quad (1)$

  $\displaystyle \hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \; – \; \bar{x})(y_i \; – \; \bar{y})}{\displaystyle \sum_{i=1}^n ( x_i \; – \; \bar{x})^2} \quad \cdots \quad (2)$

を得ることができます。

 なおここで、$\bar{x}$、$\bar{y}$は、次の通りです。

  $\displaystyle \bar{x} = \dfrac{1}{n} \sum_{i=1}^n x_i \quad \cdots \quad (3)$

  $\displaystyle \bar{y} = \dfrac{1}{n} \sum_{i=1}^n y_i \quad \cdots \quad (4)$

 ところで、この2式は導出方法はどのような計算が行われているのでしょうか。

 計算しようとしたときに、躓くポイントもあるので、特にうまく導出できない方は参考にしてください。

導出方法

 誤差項の二乗和を$V$とすると、

  $\displaystyle V = \sum_{i=1}^n u_t^2 = \sum_{i=1}^n (y_n \; – \; \hat{\alpha} \; – \; \hat{\beta} x_n)^2$
 
と定義できます。

 最小二乗法なので、この$V$を最小化することになるので、$V$を$\hat{\alpha}$と$\hat{\beta}$で微分し0とすることになります。

  $\displaystyle \dfrac{\partial V}{\partial \hat{\alpha}} = – 2 \sum_{i=1}^n (y_t \; – \; \hat{\alpha} \; – \; \hat{\beta} x_i) = 0$

  $\displaystyle \dfrac{\partial V}{\partial \hat{\beta}} = – 2 \sum_{i=1}^n (y_t \; – \; \hat{\alpha} \; – \; \hat{\beta} x_i)x_i = 0$

 この式を整理すると、

  $\displaystyle n \hat{\alpha} + \hat{\beta} \sum_{i=1}^n x_i = \sum_{i=1}^n y_i \quad \cdots \quad (5)$

  $\displaystyle \hat{\alpha} \sum_{i=1}^n x_i + \hat{\beta} \sum_{i=1}^n x_i^2 = \sum_{i=1}^n x_i y_i \quad \cdots \quad (6)$

となります。

(1)式の導出

 $(5)$式について、両辺を$n$で割ると、

  $\displaystyle \hat{\alpha} + \dfrac{1}{n} \hat{\beta} \sum_{i=1}^n x_i = \dfrac{1}{n} \sum_{i=1}^n y_i$

となり、$(3)(4)$式を使うと、

  $\displaystyle \hat{\alpha} + \hat{\beta} \bar{x} = \bar{y}$

なので、$(1)$式を得ることができます。

(2)式の導出

 $(6)$式に$(1)$式を代入し、$\hat{\alpha}$をキャンセルすると、

  $\displaystyle (\bar{y} \; – \; \hat{\beta} \bar{x}) \sum_{i=1}^n x_i + \hat{\beta} \sum_{i=1}^n x_i^2 = \sum_{i=1}^n x_i y_i \quad \cdots \quad (6)$

となり、$\hat{\beta}$について整理すると、

  $\displaystyle \hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n x_i y_i \; – \; \bar{y} \sum_{i=1}^n x_i}{\displaystyle \sum_{i=1}^n x^2 \; – \; \bar{x} \sum_{i=1}^n x_i}$

となります。更に、分母・分子に$1/n$を掛け、$(3)$式を使うと、

  $\displaystyle \hat{\beta} = \dfrac{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x_i y_i \; – \; \bar{y} \dfrac{1}{n} \sum_{i=1}^n x_i}{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x^2 \; – \; \bar{x} \dfrac{1}{n} \sum_{i=1}^n x_i} = \dfrac{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x_i y_i \; – \; \bar{x} \bar{y}}{\displaystyle \dfrac{1}{n} \sum_{i=1}^n x_i^2 \; – \; \bar{x}^2} \quad \cdots \quad (7)$

を得ることができます。

 ここで、$(3)(4)$式を使うと、次のような二式が成り立っていることに注意します(ここが一つのポイントです)。

  $\displaystyle \dfrac{1}{n} \sum_{i=1}^n (x_i \; – \; \bar{x})^2 = \dfrac{1}{n} \sum_{i=1}^n ( x_i^2 \; – \; 2 x_i \bar{x} + \bar{x}^2)$
          $\displaystyle = \dfrac{1}{n} \sum_{i=1}^n x_i^2 \; – \; 2 \bar{x} \dfrac{1}{n} \sum_{i=1}^n x_i + \dfrac{1}{n} \sum_{i=1}^n \bar{x}^2$
          $\displaystyle = \dfrac{1}{n} \sum_{i=1}^n x^2 \; – \; \bar{x}^2$

  $\displaystyle \dfrac{1}{n} \sum_{i=1}^n (x_i \; – \; \bar{x})(y_i \; – \; \bar{y}) = \dfrac{1}{n} \sum_{i=1}^n ( x_i y_i \; – \; x_i \bar{y} \; – \; \bar{x} y_i + \bar{x} \bar{y})$
              $\displaystyle= \dfrac{1}{n} \sum_{i=1}^n x_i y_i – \; \bar{y} \sum_{i=1}^n x_i \; – \; \bar{x} \sum_{i=1}^n y_i + \sum_{i=1}^n \bar{x} \bar{y}$
              $\displaystyle = \dfrac{1}{n} \sum_{i=1}^n x_i y_i \; – \; \bar{x} \bar{y}$

 この2つの式の右辺は、$(7)$式における分母と分子を表しているので、$(7)$に代入すると、

  $\displaystyle \hat{\beta} = \dfrac{\displaystyle \sum_{i=1}^n (x_i \; – \; \bar{x})(y_i \; – \; \bar{y})}{\displaystyle \sum_{i=1}^n ( x_i \; – \; \bar{x})^2}$

となり、$(2)$式を得ることができます。

参考

  羽森茂之『ベーシック計量経済学

  国沢清典・羽鳥裕久『数理統計演習

スポンサーリンク
タイトルとURLをコピーしました