ベルヌーイ分布による最尤法の数値例

ベルヌーイ分布

　まずは、数値例に入る前に、ベルヌーイ分布について、説明しておきます。

　ある変数$X_i$が$0$か$1$のいずれかの値をとるとき、$1$が生起する確率を$p$とすると、ベルヌーイ分布は、次のようになります。

　　$Pr(X_i = x) = p^x (1 \; – \; p)^{1 \; – \; x} \quad (x= 0 \, , \, 1 \quad , \quad 0 < p < 1)$

　この式から、$X_i$が$0$もしくは$1$をとる確率は、

　　$Pr(X_i = 0) = 1 \; – \; p \quad \cdots \quad (1)$

　　$Pr(X_i = 1) = p \quad \cdots \quad (2)$

となります。

　ある町において、この町の持ち家率を調べたいとします。
　そして、この町の5人を無作為抽出して、持ち家かどうかを調べたとしましょう。そうしたら、住民1と住民2は持ち家でしたが、それ以外の3人は持ち家ではなかったということが分かりました。

　持ち家の場合を$1$、そうでなければ$0$とし、上記のベルヌーイ分布における表記で表すと、

　　$X_1 = 1 \, , \, X_2 = 1 \, , \, X_3 = 0 \, , \, X_4 = 0 \, , \, X_5 = 0$

となります。

　直観的に考えると、5人中2人が持ち家だったので、この町の持ち家率は、40%であると考えられるでしょう。

　　$\dfrac{2}{5} = 0.4$

　この持ち家率について、最尤法で求めてみます。

　なお、一般的な最尤法による推定方法については、次を見てください。

　最尤法においては、母集団分布に基づいて、尤度関数$L(p)$を定義することになります。

　この町の住民が持ち家をもっているかどうかは、ベルヌーイ分布に従うとすると、尤度関数は、$(1)(2)$式を使うと、

　　$L(p) = Pr(X_1 = 1) \cdot Pr(X_2 = 1) \cdot Pr(X_3 = 0) \cdot Pr(X_4 = 0) \cdot Pr(X_5 = 0)$

　　　　$= p \cdot p \cdot (1 \; – \; p) \cdot (1 \; – \; p) \cdot (1 \; – \; p)$

　　　　$= p^2(1 \; – \; p)^2$

となります。

　この尤度関数について、$p$と$L(p)$で図示すると、次の様になります。

　何となく、尤度関数は$p$が$0.4$あたりで、最も大きい値をとりそうです。

　実際にそれを見るため、尤度関数に関して、対数化し、対数尤度関数を求めます。

　　$\ln L(p) = \ln (p^2(1 \; – \; p)^2) = 2 \ln p + 3 \ln (1 \; – \; p)$

　これを最大化するため、$p$で微分し、$0$とすると、

　　$\dfrac{d \ln L(p)}{d p} = \dfrac{2}{p} \; – \; \dfrac{3}{1 \; – \; p} = 0$

であり、これを解くと、

　$p = 0.4$

となります。

　すなわち、最尤法で、町の持ち家率を推定したとき、持ち家率は40%になっていることが分かります。