重回帰モデル
データ数が$n$、変数が$p$の重回帰モデルを考えます。
$\textbf{y}$を被説明変数、$\textbf{X}$をデータ、$\boldsymbol{\alpha}$を係数、$\textbf{u}$を誤差項としたとき、
$\textbf{y} = \textbf{X} \boldsymbol{\alpha} + \textbf{u}$
という重回帰モデルを考えます。ここで、$\textbf{y} \, , \, \boldsymbol{\alpha} \, , \, \textbf{u}$は$n \times 1$ベクトルで、$\textbf{X}$は$n \times p$行列です。
なお、最小二乗法を使うため、次が満たされていると仮定します。
$E[\textbf{u}] = 0$
$E[\textbf{u} \textbf{u}’] = \sigma^2 \textbf{I}$ （$\textbf{I}$は単位行列）
このとき、係数の推定量$\textbf{a}$は、次のようになります。
$\textbf{a} = (\textbf{X} \textbf{X}’)^{-1} \textbf{X}’ \textbf{y} \quad \cdots \quad (1)$
一致性に関する説明
一致推計量
次が成立するとき、係数の推定量は一致推計量となります。
$\textrm{plim} \; \textbf{a} = \boldsymbol{\alpha} \quad \cdots \quad (2)$
※一致推定量については「統計学・計量経済学における不偏性・有効性・一致性の概念のまとめ」
推計量の変形
ここで、$(1)$式を変形すると、
$\textbf{a} = \boldsymbol{\alpha} + \left( \dfrac{1}{n} \textbf{X}’\textbf{X} \right)^{-1} \left( \dfrac{1}{n} \textbf{X}’ \textbf{u} \right)$
であり、$\textbf{Q} = 1/n (\textbf{X}’\textbf{X})$とすると、
$\textbf{a} = \boldsymbol{\alpha} + \textbf{Q}^{-1} \left( \dfrac{1}{n} \textbf{X}’ \textbf{u} \right) \quad \cdots \quad (3)$
となります。
実際に証明しなければならない点
そして、$(3)$式を$(2)$式と比較すると、
$\textrm{plim} \; \dfrac{1}{n} \textbf{X}’ \textbf{u} = 0$
が成立すればいいことになります。
ここで、
$\textbf{q} = \dfrac{1}{n} \textbf{X}’ \textbf{u}$
とすると、一致推計量となる十分条件は、
$\displaystyle \lim_{n \rightarrow \infty} E[\textbf{q}] = \textbf{0} \quad \cdots \quad (4)$
$\displaystyle \lim_{n \rightarrow \infty} Var[\textbf{q}] = \textbf{0} \quad \cdots \quad (5)$
なので、この二式が成立しているかどうかを調べることになります。
(4)の証明
回帰分析の仮定である$E[\textbf{u}] = 0$を使うと、
$E[\textbf{q}] = \dfrac{1}{n} \textbf{X}’ E[\textbf{u}] = 0$
となり、当然ながら、$(4)$式が成り立つことが分かります。
(5)の証明
回帰分析の仮定である$E[\textbf{u} \textbf{u}’] = \sigma^2 \textbf{I}$を使うと、
$Var[\textbf{q}] = E[\textbf{q} \textbf{q}’] = \dfrac{1}{n} \textbf{X}’ E[\textbf{u} \textbf{u}’] \textbf{X} \dfrac{1}{n} = \dfrac{\sigma^2}{n} \dfrac{\textbf{X}’ \textbf{X}}{n} = \dfrac{\sigma^2}{n} \textbf{Q}$
であり、
$\displaystyle \lim_{n \rightarrow \infty} Var[\textbf{q}] = 0 \cdot \textbf{Q} = \textbf{0}$
が得れば、$(5)$式が成り立っています。
まとめ
以上から、$(4)(5)$式が成立しているので、一致推計量となる十分条件を満たし、$(1)$式が成り立つので、重回帰モデルにおける推定量は、一致推定量となります。
参考
William Greene『Econometric Analysis』