ベルヌーイ分布
まずは、数値例に入る前に、ベルヌーイ分布について、説明しておきます。
ある変数$X_i$が$0$か$1$のいずれかの値をとるとき、$1$が生起する確率を$p$とすると、ベルヌーイ分布は、次のようになります。
$Pr(X_i = x) = p^x (1 \; – \; p)^{1 \; – \; x} \quad (x= 0 \, , \, 1 \quad , \quad 0 < p < 1)$
この式から、$X_i$が$0$もしくは$1$をとる確率は、
$Pr(X_i = 0) = 1 \; – \; p \quad \cdots \quad (1)$
$Pr(X_i = 1) = p \quad \cdots \quad (2)$
となります。
数値例
ある町において、この町の持ち家率を調べたいとします。
そして、この町の5人を無作為抽出して、持ち家かどうかを調べたとしましょう。そうしたら、住民1と住民2は持ち家でしたが、それ以外の3人は持ち家ではなかったということが分かりました。
持ち家の場合を$1$、そうでなければ$0$とし、上記のベルヌーイ分布における表記で表すと、
$X_1 = 1 \, , \, X_2 = 1 \, , \, X_3 = 0 \, , \, X_4 = 0 \, , \, X_5 = 0$
となります。
直観的に考えると、5人中2人が持ち家だったので、この町の持ち家率は、40%であると考えられるでしょう。
$\dfrac{2}{5} = 0.4$
この持ち家率について、最尤法で求めてみます。
なお、一般的な最尤法による推定方法については、次を見てください。
最尤法例
最尤法においては、母集団分布に基づいて、尤度関数$L(p)$を定義することになります。
この町の住民が持ち家をもっているかどうかは、ベルヌーイ分布に従うとすると、尤度関数は、$(1)(2)$式を使うと、
$L(p) = Pr(X_1 = 1) \cdot Pr(X_2 = 1) \cdot Pr(X_3 = 0) \cdot Pr(X_4 = 0) \cdot Pr(X_5 = 0)$
$= p \cdot p \cdot (1 \; – \; p) \cdot (1 \; – \; p) \cdot (1 \; – \; p)$
$= p^2(1 \; – \; p)^2$
となります。
この尤度関数について、$p$と$L(p)$で図示すると、次の様になります。

何となく、尤度関数は$p$が$0.4$あたりで、最も大きい値をとりそうです。
実際にそれを見るため、尤度関数に関して、対数化し、対数尤度関数を求めます。
$\ln L(p) = \ln (p^2(1 \; – \; p)^2) = 2 \ln p + 3 \ln (1 \; – \; p)$
これを最大化するため、$p$で微分し、$0$とすると、
$\dfrac{d \ln L(p)}{d p} = \dfrac{2}{p} \; – \; \dfrac{3}{1 \; – \; p} = 0$
であり、これを解くと、
$p = 0.4$
となります。
すなわち、最尤法で、町の持ち家率を推定したとき、持ち家率は40%になっていることが分かります。
参考
鹿野繁樹『新しい計量経済学』