理学療法士がまとめたノート

統計学備忘録 since2016

Rを使って統計学を勉強するブログです

二項分布からの最尤推定

投稿日2017.6.13
更新日2017.7.20

二項分布から最尤推定に挑戦

二項分布のグラフ - 統計学備忘録 since2016

例)試行回数3回・確率1/2の二項分布
       𝐵𝑖(3 , 0.5)

f:id:yoshida931:20170613163424p:plain

 

表が出る確率をp=1/2とすると、次のような分布が考えられます.
確率pのときに表が〇回出る確率(同時確率

    f:id:yoshida931:20170613163444p:plain

これらの標本から得られる同時確率は、右に記載している確率です.
L(P) = 1回目表の確率×2回目表の確率×3回目表の確率


最尤原理
表が出る確率をP=?とした場合に、今現在起きている事象が起きる確率(尤度)が最も大きなる値が、その母数の推定値として「最も尤もらしい」とする考え方です.尤度が最大になる母数の値を最尤推定といいます.またそのような値を与える推定値を最尤推定といいます.

例)表の出る確率Pが未知で、表、表、ウラという事象を考えてみます.
L(P) = p × p × (1-p) = p^2 × (1-p) となります
ここで p=0.2 と p=0.8 を仮定してみます.
L(P) = p×p×(1-p) = p^2×(1-p)
L(0.2)=0.032
L(0.8)=0.128
最尤原理から考えると、L(0.2)<L(0.8)となり、p=0.2にくらべるとp=0.8が尤もらしい値となります.つまり、今起きている「表、表、ウラ」の尤度は、p=0.8が推定値として尤もらしいということになります.「表、ウラ、ウラ」となった場合には、p=0.2が尤もらしい推定値になります.

 L(P) 尤度関数 ( maximum function )
pのいろいろな値における尤もらしさを表す関数です.尤度関数L(P)を最大にする値が最尤推定値、関数としては最尤推定量になります.

求めるためには微分が必要になります.
L(P) = p×p×(1-p) = p^2×(1-p) を微分して=0としたときのpが最尤推定値となります.
dL(P)/dp = (p^2 – p^3)’ = 2p-3p^2 = 0
最尤推定値p=2/3
    ↓
確率密度関数Fp(y)をもつ母集団から、大きさ3の確率標本を取り出します
{ 1回目 , 2回目 , 3回目 }
同時確率密度:Fp(y1,y2,y3) = p×p×(1-p)

これをpの関数とみなしたものが尤度関数です
L(p) =  fp( y1 ) * fp( y2 )* ,…, * fp( yn )


つまり次ようになります
θを未知の母数とした確率密度関数Fθ(y)の母集団から
大きさ n の確率標本 { Y1 , Y2 ,…, Yn } を取り出した場合 
同時確率分布:Fθ( yn )
同時確率密度:Fθ( y1 , y2 ,…, yn ) = Fθ( y1 )* Fθ( y2 )* ,…, * Fθ( yn )
これをθの関数とみなしたものが尤度関数です
L(θ) = ΠFθ(y) = Fθ( y1 )* Fθ( y2 )* ,…, * Fθ( yn )

{ Y1 , Y2 ,…, Yn } を観測して { a1 , a2 ,…, an } が得られた場合、
尤度関数を最大にするθのことをY1= a1、Y2= a2、…、Yn= anが観測されたときのθの最尤推定値( maximum likelihood estimate )といいます.


例)
表の出る確率が p で{ Y1=表、Y2=表、Y3=ウラ }が観測された場合
標本から得られる確率は L(p) = p^2 * (1-p)
これを微分して=0としたpの値が最尤推定値となります
dL(p)/dp= (p^2 – p^3)’ = 2p-3p^2 = 0
p=2/3
表が2回観察されたときのpの最尤推定値は2/3


対数尤度 ( log likelihood function )

尤度関数を考えるとき、積の形なので数学的に扱うのが不便であるため対数をとります
log L(θ) = ∑ log { fθ(y1) *  fθ(y2) * ,…, *  fθ(yn) }

二項分布の例 
L(p) = Π (p^ai × (1-p)^n-ai  ) = p^T × (1-p) ^n-T    (T=∑ai)
logL(p)= log { p^T × (1-p) n-T ) }  =  T× logp + ( n-T ) × log( 1-p )
最尤推定値を求めるためにやはり微分して=0とします
d logL(p) / dp =  { T×logp + (n-T) × log(1-p) } = T / p – ( n - T ) / ( 1 - p ) = 0
p = T / n = ( 1/n ) *∑ai (相対頻度
例)p = ( 1/3 )*( 1+1 ) = 2 / 3
pの最尤推定値は相対頻度

参考文献
柳川 堯 , 荒木 由布子; バイオ統計の基礎―医薬統計入門,近代科学社 ,2010
東京大学教養学部統計学教室 (編集); 統計学入門 (基礎統計学), 東京大学出版会, 1991