理学療法士がまとめたノート

統計学備忘録 since2016

Rを使って統計学を勉強するブログです

回帰係数の区間推定

投稿日2017.2.3
更新日2017.7.31

回帰係数の区間推定

 

標本回帰係数の不偏推定量から母回帰係数の信頼区間を求めてみます.

次式をRにペーストして
x<-read.table("clipboard",header=T)

次のデータをコピーしてRで実行します

東京 福岡
1019.4 1018.4
1005.7 1007.6
1002 1006.2
1006.7 1009.9
1005.1 1010.8
1010.1 1013.2
1016.7 1016.2
1011 1009.1
999.5 1003.1
1006.9 1012.5
1001.9 1006.4
1007.5 1006.3
1014.4 1012.2
1014.3 1015
1014.6 1017.4
1009 1016.5
1006.7 1012.1
1009.4 1008.7
1011.8 1009.2
1009.4 1009.2
    サンプル)統計学入門(基礎統計学),東京大学出版会,1991,p258

 Rstudioで確認

f:id:yoshida931:20170721144822p:plain

回帰分析 ( 東京=y、福岡=x )
lm(x$東京~x$福岡)

Call:
lm(formula = x$東京 ~ x$福岡)

Coefficients:
(Intercept)       x$福岡 
    16.0876       0.9822 

標本回帰方程式
Y=16.09+0.98X


定義
yi   実測値   x$東京
xi   実測値   x$福岡
B 母回帰係数 ・・・この信頼区間を求める
β 回帰係数の不偏推定量 (最小二乗法より)   
Ei 誤差項
ei   (回帰)残差
Txx    xの偏差平方和      ∑(xi-xi平均値)^2
Txy xyの偏差平方和    ∑(yi-yi平均値)(xi-xi平均値)
Tyy    yの偏差平方和      ∑(yi-yi平均値)^2
σ^2 誤差項Eiの分散
s^2    誤差項Eiの分散の不偏推定量

回帰残差

母回帰方程式  Y = B0+ B1*xi + Ei  Ei~( 0 , σ^2 )  (i=1,2,...,n)
回帰残差  ei = yi - β0 - β1*xi
ei<- ( x$東京 - 16.09 - 0.9822 * x$福岡 )

誤差項 ( Ei ) の分散の不偏推定量を残差 ( ei ) を使用して求めます

単回帰分析 - 統計学備忘録 since2016

回帰残差の平方和を ( n-2 ) で割る
回帰方程式の当てはまりの良さがわかります
s^2 <- ( sum (ei^2) ) / ( n - 2 ) 
s^2 <- ( sum ( ei ^2 ) ) / 18

推定値の標準誤差
s<-sqrt ( s^2 )

ほとんどの 回帰残差 ( ei 0 ± 2s の中に入入ります
残差の散布図で確認(言訳;グラフは初心者です)
plot ( ei , type="p" , ylim = c(-6,6) )
abline ( h=s , col='black' , lty="twodash" )
abline ( h = -s , col='black' , lty="twodash" )
abline( h= 2*s , col='black' ,lty="dashed" )
abline( h = -2*s , col='black' , lty="dashed" )


graphics.off()

偏回帰係数の標本分布
σは未知なのでsに置き換えます
Z = ( β1 - B1 ) ÷ σ / √Txx ~N ( 0 , σ^2 )
t = ( β1 - B1 ) ÷ s / √Txx    ~t ( n - 2 )

ここが分からない!
回帰係数の推定量βの分散は σ^2 / Txx という仮定で書いていますが、
まだ証明を理解できていません.次回更新時までに何とか書き加えます.

t値 
自由度18、p値0.025の確率点は
t値 = qt(0.975,18) = 2.101

Bの信頼区間を推定量から求める
β1 - t × s / √Txx ≦ B1 ≦ β1 + t × s / √Txx
Txx<- sum ( ( x$福岡 - mean( x$福岡 ) ) ^2 )
0.98 - 2.101 * s / sqrt ( Txx )
0.6189584
0.98 + 2.101 * s / sqrt ( Txx )
1.341042
     0.62 ≦ B ≦ 1.34

Rの関数で確認します
confint ( lm ( x$東京 ~ x$福岡 ) , level = 0.95 )

              
(Intercept) -348.9125481 381.087689
x$福岡         0.6211872   1.343239