二項分布からの最尤推定　(旧) - 統計学備忘録（R言語のメモ）

二項分布からの最尤推定
投稿日2017.6.13
更新日2017.10.4 理解してなかったのでもう一度勉強します

二項分布の復習
確率1/2が最も尤もらしい例
右側の数値は同時確率
f:id:yoshida931:20171004180715j:plain:w250
どう見てもP=0.5が最も尤もらしい確率です！

最尤原理

最尤原理は、現在起きている事象の起きる確率が最も大きくなる値を、その母数の推定値として「最も尤もらしい」とする考え方です．

$\$ 例えば、表の確率P,ウラの確率1-Pとした場合には、表表ウラの同時確率はL(P)=P×P×(1-P)となります．L(P)を尤度関数といいます．尤度関数は尤もらしさを表す関数と表現できます．

尤度関数
> L(P)尤度関数は、Pのいろいろな値における尤もらしさを表す関数です. 尤度関数を最大にするPの推定値が最尤推定値、関数としては最尤推定量になります．

例として表が出る確率をP＝？の場合を考えていきます．
「表、表、ウラ」の事象が出た場合の最も尤もらしいPの値を推定してみます．直観的には2/3になるようですが・・・

この事情が起きる確率は
$L(P) ＝P×P× (1-P) =P^2×(1-P)$
最も尤もらしい確率Pを探し出すために、P=0.2, 0.5, 0.8 を当てはめて比べてみます．
$L(0.2)＝0.009$ 、 $L(0.5)＝0.125$ 、 $L(0.8)＝0.128$

最尤原理から考えると、P=0.8が尤もらしい値となります．

正確に求めるためには微分が必要になります．L(P)を微分して0となるPの値がL(P)を最大にします．
$L(P) ＝P×P× (1-P) =P^2×(1-P)$ を微分して＝0としたときのPが最尤推定値となります．
$dL(P)/dp = (p^2 – p^3)’ = 2p-3p^2 = 0$
最尤推定値 $P=2/3$ となり直観は正解でした．

ところが… $L(P) ＝P^{12}×(1-P)^{32-12}$ このように試行回数32回、成功回数12回というよううな場合には非常に面倒になってしいます．そこで対数尤度 ( log likelihood function )が必要になります．

対数尤度
尤度関数を考えるとき、積の形なので数学的に扱うのが不便であるため対数をとり和の形にします．
$L(P) ＝P^x×(1-P)^{n-x}$
$logL(P)=xlogP+(n-x)log(1-P)$
これを微分した解を0としてPの値を算出します．

$logL(P)の微分＝\frac{x}{P}-\frac{n-x}{1-P}$

例題を考えた場合に
$logL(P) ＝log(P^{12}×(1-P)^{32-12})=12*logP -20*log(1-P))$
$logL(P)の微分＝\frac{12}{P}-\frac{20}{1-P}= 0$

$P =\frac{12}{32}=0.375$ が最も尤もらしいPの値となります．

#pに0.370, 0.375, 0.380を当てはめて確認
> p = 0.370
> p^12*(1-p)^20
[1] 6.386041e-10
> p = 0.375
> p^12*(1-p)^20
[1] 6.396988e-10
> p = 0.380
> p^12*(1-p)^20
[1] 6.386118e-10

参考文献
柳川堯 , 荒木由布子; バイオ統計の基礎―医薬統計入門,近代科学社 ,2010
東京大学教養学部統計学教室 (編集); 統計学入門 (基礎統計学), 東京大学出版会, 1991