大数の法則
統計学において、大数の法則とは、次のようなものです。
$n$個の互いに独立な確率変数$X_i$について、$E(X_i) = \mu$、$V(X_i) = \sigma^2$が存在するものとする。
このとき、標本数$n$を大きくすると、標本平均$\bar{X}$は、$\mu$に収束する
この大数の法則について、導出方法を説明したいと思います。
大数の法則の導出方法
標本平均$\bar{X}$は、次のような式になります。
$\displaystyle \bar{X} = \dfrac{1}{n} \sum_{i=1}^n X_i$
標本平均について、平均と分散をとると、
$\displaystyle E(\bar{X}) = \dfrac{1}{n} \sum_{i=1}^n E(X_i) = \dfrac{1}{n} \cdot n \mu = \mu$
$\displaystyle V(\bar{X}) = \dfrac{1}{n^2} \sum_{i=1}^n V(X_i) = \dfrac{1}{n^2} \cdot n \sigma = \dfrac{\sigma^2}{n}$
を得ることができます。
これを踏まえ、
$P(\left| \, X – \mu \,\right| \geq \varepsilon) \, \leq \, \dfrac{V(X)}{\varepsilon^2}$
というチェビチェフの不等式を考え、$X=\bar{X}$として、チェビチェフの不等式を当てはめると、
$P(\left| \, \bar{X} – \mu \,\right| \geq \varepsilon) \, \leq \, \dfrac{V(\bar{X})}{\varepsilon^2} = \dfrac{\sigma^2}{n \varepsilon^2}$
となります。
この式において、
$\displaystyle lim_{i \rightarrow \infty} \dfrac{\sigma^2}{n \varepsilon^2} = 0$
なので、
$\displaystyle lim_{i \rightarrow \infty} P(\left| \, \bar{X} – \mu \,\right| \geq \varepsilon) = 0$
となり、$n$が無限大に大きくなれば、標本平均$\bar{X}$は母平均$\mu$と一致（確率収束）することが分かります。
参考
竹村彰通『現代数理統計学』
横山真一郎・関哲朗・横山真弘『基礎と実践 数理統計学入門』
国沢清典・羽鳥裕久『数理統計演習』