理学療法士がまとめたノート

統計学備忘録 since2016

Rを使って統計学を勉強するブログです

二項分布からの最尤推定

二項分布から最尤推定に挑戦

二項分布のグラフ - 統計学備忘録 since2016

例)試行回数3回・確率1/2に二項分布
       𝐵𝑖(3 , 0.5)

f:id:yoshida931:20170613163424p:plain



表が出る確率をp=1/2とすると、次のような分布が考えられます.
確率pのときに表が〇回出る確率(同時確率

    f:id:yoshida931:20170613163444p:plain

これらの標本から得られる同時確率は、右に記載している確率です.
L(P) = 1回目表の確率×2回目表の確率×3回目表の確率

例)表、表、ウラの場合を考えると
L(P) = p×p×(1-p) = p^2×(1-p) となります

ここでpが未知の場合のp=0.2とp=0.8を仮定してみます.

L(P) = p×p×(1-p) = p^2×(1-p)
L(0.2)=0.032
L(0.8)=0.128
p=0.8のL(P)が大きく、p=0.8が尤もらしい値と言えます.

 

L(P) 尤度関数 ( maximum function )
pのいろいろな値における尤もらしさを表す関数である.
尤度関数L(P)を最大にする値が最尤推定値、関数としては最尤推定量である.

求めるためには微分が必要になります・・・
L(P) = p×p×(1-p) = p^2×(1-p) を微分して=0としたときのpが最尤推定値となります.
dL(P)/dp = (p^2 – p^3)’ = 2p-3p^2 = 0
最尤推定値p=2/3
    ↓
確率密度関数fp(y)をもつ母集団から
大きさ3の確率標本を取り出す{1回目, 2回目, 3回目}
同時確率密度:fp(y1,y2,y3) = p×p×(1-p)
これをpの関数とみなしたものが尤度関数です
L(p)= fp(y1)* fp(y2)*,…,* fp(yn)


つまり次ようになります
θを未知の母数とした確率密度関数fθ(y)の母集団から
大きさnの確率標本 {Y1,Y2,…,Yn} を取り出した場合 
同時確率分布:fθ(yn)
同時確率密度:fθ(y1,y2,…,yn) = fθ(y1)* fθ(y2)*,…,* fθ(yn)
これをθの関数とみなしたものが尤度関数です
L(θ) = Πfθ(y) = fθ(y1)* fθ(y2)*,…,* fθ(yn)


{Y1,Y2,…,Yn}を観測して{a1,a2,…,an}が得られた場合、
尤度関数を最大にするθのことをY1= a1、Y2= a2、…、Yn= anが観測されたときのθの最尤推定値( maximum likelihood estimate )といいます.


例)
表の出る確率がpで{Y1=表、Y2=表、Y3=ウラ}が観測された場合
標本から得られる確率は L(p) = p^2*(1-p)^3-2
これを微分して=0としたpの値が最尤推定値となります
dL(p)/dp= (p^2 – p^3)’ = 2p-3p^2 = 0
p=2/3
表が2回観察されたときのpの最尤推定値は2/3


対数尤度 ( log likelihood function )

尤度関数を考えるとき、積の形なので数学的に扱うのが不便であるため対数をとる
logL(θ) = ∑log{ fθ(y1)* fθ(y2)*,…,* fθ(yn)}
二項分布の例) 
L(p) =Π(p^ai×(1-p)^n-ai ) = p^T×(1-p)^n-T    (T=∑ai)
logL(p)= log { p^T×(1-p)^n-T)} = Tlogp+(n-T)log(1-p)
最尤推定値を求めるためにやはり微分して=0とします
dlogL(p)/dp= { Tlogp+(n-T)log(1-p) }’ = T/p – (n-T)/(1-p) = 0
p=T/n=(1/n)*∑ai (相対頻度)
例)p = (1/3)*(1+1) = 2/3
pの最尤推定値は相対頻度

 

参考文献
柳川 堯 , 荒木 由布子; バイオ統計の基礎―医薬統計入門,近代科学社 ,2010
東京大学教養学部統計学教室 (編集); 統計学入門 (基礎統計学), 東京大学出版会, 1991