はじめに
統計学や計量経済学において、あるデータに基づいて計算された推定量について、
・不偏性(不偏推定量)
・有効性(有効推定量)
・一致性(一致推定量)
という話が出てきたりします。例えば、
「最小二乗法の係数の推定量は、一致性をもつ(一致推定量である)」
などといった形です。
ところで、不偏性・有効性・一致性の定義を見て、証明などをされるとその通りですが、何をやっているのか分からなくなるのではと思います(定義については、「統計学・計量経済学における不偏性・有効性・一致性の概念のまとめ」)。
そこで、なぜそのような話が出てくるのか、それぞれ何をやっているのかを説明します。
考え方
まずは、大前提として重要なポイントがあります。
真の値$\theta$を得るために、データから得られた推定量$\hat{\theta}$は、確率変数だということです。
例えば、次のような単回帰のモデルを考え、係数$\beta$の推定量を推計し、$\hat{\beta}$を得たとします。
$y = \alpha + \beta x +u$
真の値$\beta$は誰にも分かりませんが、真の値$\beta$と推定量$\hat{\beta}$は、できるだけ同じであるほうが望ましいと思われます。
不偏性・有効性
この2つができるだけ同じであるかどうかを見るため、推定量$\hat{\beta}$が確率変数であることに着目します。
確率変数であるならば、その推定量の
①推定量の平均値(期待値)は、真の値になる
②推定量の分散は、小さいほうがいい
と考えることができます。
そして、①については、真の値$\beta$と推定量$\hat{\beta}$があるとき、次のように表現され、不偏性(不偏推定量)の式になっています。
$E(\hat{\beta}) = \beta$
②については、真の値は分散はないので、推定量の分散$Var(\hat{\beta})$が最も小さいものがいいということで、推定量の分散のうち最小のものについて、有効性(有効推定量)があると考えます。
一致性
最後に、推定量$\hat{\beta}$は確率変数であることから、データ数を多くすると、推定量$\hat{\beta}$が真の値$\beta$に近づいていくことが望ましいと考えます。
このとき、データを多くすると、次のような推定量$\hat{\beta}$とが真の値$\beta$の差がゼロになる状態がいいでしょう。
$\hat{\beta} \; – \; \beta$
しかし、直球でこのような状態にあるかどうかを、調べることはできません。
例えば、最小二乗法でいえば、$\hat{\beta}$は、次のような式になりますが、データ数を多くしても、式に真の値$\beta$がないので、差がゼロになることは証明できず、どうにもなりません。
$\hat{\beta} = \dfrac{\sum_{i=1}^n (x_ i\; – \; \bar{x})(y_ i\; – \; \bar{y})}{\sum_{i=1}^n (x_ i\; – \; \bar{x})^2}$
なので、間接的に違う発想で、データが多くなると、推定量$\hat{\beta}$と真の値$\beta$の差がゼロに近づく条件を考える必要があります。
これが、一致性(一致推定量)の考えで、推定量$\hat{\beta}$と真の値$\beta$の差があるような確率が、ゼロになる場合を考えることにしています。
$\displaystyle \lim_{n \rightarrow \infty} P(| \, \hat{\beta} \; – \; \beta \, | \geq \varepsilon) = 0$
まとめ
以上をざっくりとまとめると、
不偏性 : 推定量の平均(期待値)が、真の値を同じであるかどうか
有効性 : 推定量の分散が、最小であるかどうか
一致性 : データを多くしたとき、推定量と真の値が同じであるかどうか
となります。
そして、色々な推定方法がある中で、これらの基準を満たしているかどうかを調べて、その推定方法の良さ・悪さを判断していることになります。
例えば、最小二乗法を考えれば、
「最小二乗法では、不偏性・有効性・一致性を満たしているので、良い推定方法だ」
ということを証明するために、このような話が出てくるのです。
参考
中村隆英『統計入門』