Transcript 定理A

Chap 9 Testing Hypotheses and Assessing Goodness of Fit
統計假設檢定基本上是基於一分配所得之 random sample 來區分二分佈之
一種方法.
例: 給定 X1, X2 ,…, Xn ~ i.i.d N (μ, σ2 ) 想決定 μ 究竟是 μ1 或 μ2 ,
則為區分二分佈.主要之架構: 理論根據 Neyman-Pearson Lemma 而來
H0 : Null hypothesis (一般 H0 取較為簡單或拒絕的結果為較嚴重的假設 )
H1 : Alternative hypothesis
Simple Hypotheses : 如H0 : μ=μ1 v.s. H1 : μ=μ2
Composite Hypothesis : H0 : X1, X2 ,…, Xn 來自Poisson(λ)
H1 : not Poisson(λ)
若 H1 改為 P(λ1) 則為 simple Hypothesis
Ex: B (n, p) H0 : p = 0.50
v.s. H1 : p = 0.25
or
H1 : p ≠ 0.5 ( two-sided alternative )
p ＜ 0.5 ( one-sided alternative )
p ＞ 0.5
9.2 The Neyman-Pearson Paradigm
根據 Neyman-Pearson 決定是否接受 null hyp. 是看檢定統計量 T(x) 是落在
acceptance region 或在 rejection region
H0
1. Type Ⅰ error : H0 為真, 但 reject H0 .
Accept
P ( reject H0 | H0 is true ) = α
Reject
若 H0 為 simple, 稱 α 為 significance level .
若 H0 為 composite, 則在每一特殊 θ 下有一 type Ⅰ error
此時 significance level 為 max P (Type Ⅰ error)
2. Type Ⅱ error : H0 false, but accept H0 .
P (accept H0 | H0 false) = β
True
False
ˇ
Type Ⅱ
Type Ⅰ
ˇ
‧Power function P (reject H0 |θ) = 1 –β 與 θ 相關
理想狀況: α = β = 0 , 但除非是在 trivial case 下否則是不可能, 通常在樣本
數固定的情況下 α↓ 則 β↑. Neyman-Pearson 解決這種矛盾的方法是先將
significance level α 固定後, α 通常是很小的值, 再設法建造一 test 使 β 為最
小.
Ex. 設X ~ B (n, p)
H0 : p = 0.5 v.s. HA : p ＞ 0.5 . 即 Rejection region 為由 X 中之大的值構成,
利用 binomial 之分佈表,設 rejection region 為 {8,9,10}, 則
α = P (X ＞ 7 | p = 0.5) = 1 – P (X ≦ 7) = 0.0547
若 rejection region 為 {7,8,9,10}, 則
α = P (X ≧ 7 | p = 0.5) = 0.172
The Neyman - Pearson approach 則先設定 α 之值. 如選 α= 0.0547 .
若 true value of p 為 0.6 .
 Power 隨著p增加 (即
1 - β(0.6) = P(X ≧ 8 | p =0.6) = 0.1673
遠離 H0 : p = 0.5) 而增加
1 - β(0.7) = P(X ≧ 8 | p =0.7) = 0.3828
(c) crit icalvalue
eg. Reject ionregion{T > t }, t hen,t is called
t hecrit icalvalue of t he t est
(d ) p - value： t hesmallest value of α for which
t he hypot hesiswill be reject
eg. reject region{T > t }， 若由sample所得的 T 為 t * ,
則其 p - value 即為 PH 0 (T  t * )
Eg. 上例中, 若 observe x  9 個成功
p  value  P0.5 ( X  9)  0.0107
若 observe x  8 個成功
p  value  P0.5 ( X  8)  0.0547
if p  value significant level  reject
if p  value  significant level  accept
(in general,  0.1;0.05;0.01)
Ex. 再考慮前述檢定 goodness of fit to a Poisson dist.
虛無假設 : 數據來自於 Poisson dist.
對立假設 : 來自一未註明之 discrete dist.
radioactive
sources
放射性物質
=============== α particles
在單位時間內所放射的 α 粒子數目為一隨機變數.假設
(1) 在觀察時段中, (每個 atom 原子)其 emission rate 為一常數
(2) 所觀察的α particles數目,來自於 a very large number of independent
sources (atoms 原子)
對此 radioactive decay data, Poisson 模型為一 appropriate 的模型,
Poisson postulate
(i) the underlying rate at which the events occur is constant in space or in time
(ii) events in disjoint intervals of space or time occur independently
(iii) There are no multiple events.
Berkson (1966) 分析從美國國家標準局所獲得的
Americium
241
鋂 (Am, 原子序95)
(1) 在連續的放射中紀錄10,220次
(2) observed mean emission rate
=
( total # of emissions )
=0.8396
(total time)(sec)
(3) 準確度 (用於紀錄時間的 clock 可達0.0002秒)
Berkson 分析 1207 intervals, each of length 10秒.見 表 :
 k  P( x  k ) 
k e 
k!
, 其中λ= 0.8392 x 10 (秒) = 8.932
(為Poisson的mean)
P1 = π0+π1+π2

P16 =
 k
k 17
 The joint distribution of the counts in all cells is multinomial with n = 1207
& probabilities P1, P2, …, P16 .
Goodness of Fit : Pearson’s chi-square statistic
2
(
O

E
)
i
i
2  
= (8.99)
all cells
Ei
d.f. = # of cells - # of indep. parameters o fitted -1 = 16 -1 -1 = 14
P( 14  8.99)  0.83 Fig.8.1
2
do not reject 亦可採用 generalized likelihood test, 即
 Oi 
2
2  Oi log   ~ 14
i 1
 Ei 
16
上述二例均有一共同性質, 即檢定係基於一檢定統計量, 且此統計量在
虛無假設下之分佈函數為已知.(稱為 null distribution ) 因為知此 null dist.
我們可以方可定義顯著水準為 α 的 rejection region. 且在前述之二例中
rejection region 均為{T ＞ t} 之形式; Ｔ 為檢定統計量. 在這些情形下,
稱 t 為 ”critical values of the test”.
Critical value 將 rejection region 及 acceptance region 區分出來.(再回到第8章
中之 p-value 與 α 之間的關係 recall ) 若觀察到  2之值為 c, 則
p* = P (  ＞ c). 故若 c ＞  (α) , 則 p* ＜ α
2
若 c ＜  (α) , 則 p* ＞ α.
2
2
所以 The test rejects iff. p* ＜ α.
換句話說 p* 是會使 null hypothesis 被 reject 之最小 α.
9.3 Optimal Tests : The Neyman-Pearson Lemma
針對一 null hypothesis v.s. alternative, 通常都有很多檢定滿足
signification level α. 從這些檢定中如何挑選出最好的一個 ”test” ? 一個最好
的 test 通常是指顯著水準為 α, 而且比任何其他檢定之檢定力來得高.
Neyman-Pearson Lemma 證明在檢定 simple v.s. simple 假設時,存在一最
好之檢定, 而此檢定是根據在二假設下之 likelihoods 之比值而得．
Defn. Assume

(i) f  x  is t he joint p.d.f.(p.m.f)specifiedby H （ simple）
0
0

(ii) f (x ) is t he joint p.d.f (p.m.f)specifiedby H (simple)
A
a

f x 
T hen t helikelihoodrat iois defined t o be 0 
f x 
A
Lemma (Neyman-Pearson Lemma)
Ｈ0 : μ=μ0 v.s. HA : μ=μ1
令 d* 為一檢定, 它拒絕虛無假設. 當
f 0 ( x)
c
f A ( x)
( f0 (x) 為 Ｈ0 成立時之 likelihood function )
且令 α* 為 d* 之顯著水準.若 α 為另一顯著水準 α ≦ α* 之檢定,則
d 之檢力 ≦ d* 之檢力. (Most powerful test)
Eg： B(10,P ) H 0： P = 0.5 ， H a ： P = 0.6
10
10
 0.5
k
10
k 
f 0.5 k 
 0.4   0.5 



 

f 0.6 k  10
 0.6   0.4 
k
10  k
 0.6  0.4 
k 
k
10
2 5
    c
3 4
2
5
 k ln   10 ln   ln c  k  c *
3
4
(T he best test rejects for large values of k )
k
0
1
2
3
4
7
8
9
10
f 0.5 (k ) f 0.6 (k ) 9.31 6.21 4.14 2.76 1.84 0.55 0.36 0.24 0.16
If c = 0.55， i.e, c* = 7 t hen t hesignificant level
α = P0.5 k  7   0.05437& t hepower of
t est v.salt ernat iv
e is 1    P0.6 k  7   0.1673
 T he N - P lammasays t hesedose not exist any
ot her t estwit h t ypeⅠerror probability  0.0547
which has power  0.0547
Ex. 令X1, X2 ,…, Xn ~ N (μ, σ2 ), σ2 已知.
考慮 Ｈ0 : μ=μ0 v.s. HA : μ=μA
其中 μ0 及 μA 為給定之常數.
在顯著水準 α 之下,由 Neyman-Pearson Lemma
1 n
exp[ 2  ( xi   0 ) 2 ]
f 0 ( x)
2 i 1

f1 ( x) exp[  1 n ( x   ) 2 ]
 i
A
2
i
2 1
使
f 0 ( x)
f1 ( x )

f 0 ( x)
小之值與使
n
2
2
 ( xi   A )   ( xi   0 )
i 1
 c  2 xi (0   A )  n A  n0
2
f1 ( x )
2
小之值對等
f 0 ( x)
若 0 - A  0 , 則
 c   xi  c' accept
f1 ( x)
or  xi  c' reject
f 0 ( x)
若 0 - A  0 , 則
 c   xi  c' accept
f1 ( x)
or  xi  c' reject
'
c 的求法
P ( xi  c' |    0 )  
由於 X  N( 0 ,
P(
X  0
/ n
2
n
)
 Z1- |    0 )  c
'

c   0  Z 1
'

n
Eg. X1, X2 ,…, Xn ~ i.i.d N (μ, σ2 ) σ is known
Ｈ0 : μ=μ0 v.s. Ha : μ=μA
Require signification level = α
N-P Lemma
Among all tests with signification level α, the test reject for

f0 ( x )
  c is most powerful.
f A ( x)
1 n

exp[ 2  ( xi   0 ) 2 ]
f (x)
1
2
2
2 i 1
 0  

exp{
[
2
n
x
(



)

n
(



0
A
A
0 )]}
2
n

1
f1 ( x ) exp[
2
2
(
x


)
]

i
A
2 2 i 1
1. if μ0 –μA ＞ 0, the likelihood ratio test is small if is small
2. if μ0 –μA ＜ 0, the likelihood ratio test is small if is large
Assumeμ0 –μA ＜ 0, Now choose x0 , s.t.
P 0 ( X  x0 )  
X   0 x0   0
x0   0
 P 0 ( X  x0 )  P 0 (

)
 z



n
n
n
X   A x0   A
P A ( X  x0 )  P A (

)
power of this test

n

n
Def : if HA is composite, A test that is most powerful for every simple
alternative in HA is said to be uniformly most powerful.
Eg. : X1, X2 ,…, Xn ~ i.i.d N (μ, σ2 )
Ｈ0 : μ=μ0 v.s. HA : μ＞μ0
For a particular simple alternative μ=μA＞μ0 , the most powerful test reject
for with x0 only depends on μ0 , n &σ2 but not on μA . ∵ this test is
most powerful & is the same for every simple alternative in HA , it is uniformly
most powerful.
在檢定 Ｈ0 : μ≦μ0 v.s. HA : μ＞μ0 時
上述檢定仍為uniformly most powerful
但在檢定 Ｈ0 : μ=μ0 v.s. HA : μ≠μ0 時則非 UMP
9.4 The Duality of Confidence Intervals & Hypothesis Tests
信賴區間或集合與假設檢定之間有一對偶關係存在.
我們將証明信賴集合可由假設檢定得之,反之亦然.
Ex: 令 X1, X2 ,…, Xn 為一random sample, 其共同分佈為 N (μ, σ2 ),
μ 為unknown, σ2 為 known. 考慮下列檢定
Ｈ0 : μ=μ0 v.s. HA : μ≠μ0 .
考慮一指定顯著水準為 α 的檢定, that rejects Ｈ0 當 X  0  c.
c 之決定即當 Ｈ0 為真時 P( X  0  c)  
c   x Z 
( )
2
即當
or
X  0   x Z

( )
2
  x Z   X  0   x Z 
( )
2
( )
2
X   x Z   0  X   x Z 
( )
2
( )
2


X  xZ  , X  xZ  
-100(1-α)% C.I. for μ0 為
( )
( )


2
2 
比較接受區間與信賴區間, 兩者是一樣的.換句話說: 信賴區間即為所有會
接受 Ｈ0 : μ=μ0 μ0 值.
以下我們給出更一般的性質.令θ為一機率分佈族之參數.
定理A: For the hypothesis Ｈ0 : θ=θ0 , 假設對Θ中每一θ0 都有一level α
之檢定. 令此檢定之接受區域為A(θ0), 則集合
(acceptance region)



C ( x )  { : x  A(0 )}
x  ( x1,.., xn )
為 θ0 之 100(1-α)% conf. region.
pf : ∵ A(θ0) 為一 level α 檢定的接受域

P( x  A( 0 ) |    0 )  1  
Now


P( 0  C ( x ) |    0 )  P( x  A( 0 ) |    0 )  1  

By def. of C (x )

定理B: 假設 C (x ) 為 θ 之 100(1-α)%, 信賴域即 θ
0.



P[ 0  C ( x ) |    0 ]  1   則 A( 0 )  x |  0  C ( x ) 為
對檢定 Ｈ0 : θ=θ0 之一 α level acceptance region
這種對偶性質相當有用.其中一種不易求時,則設法求另一種.
9.5 Generalized Likelihood Ratio Tests (廣義概似比檢定)
(i) 當 hypothesis is simple v.s. simple 時 likelihood ratio test is optimal.
(ii) 當 hypotheses 不是 simple 時,我們發展一 likelihood ratio test 之推廣 test.
稱為 generalized likelihood ratio test. 這種 tests 一般不見得為 optimal, 但
在沒有任何 tests 為 optimal 時,它的表現一般而言,是還不錯的.
Generalized likelihood ratio tests 有很多好處,它們所扮演的角色就像估計
中的 M.L.E.一樣
令 X = (X1, X2 ,…, Xn) 之 joint p.d.f. 為 L (X1, X2 ,…, Xn |θ)
則 Ｈ0 可能為 H 0 :  W0 , W0 為一所有可能之 θ 之一 subset
H :  W , W  W  
1
1
0
考慮
max L( X1,..., X n |  )
* 
 W0
max L( X1,..., X n |  )
 W1
1
Λ* 值小時, 即對 Ｈ0 不利.為了計算上之方便改用下列 test: 令   W0  W1
max L( X1,..., X n |  )

 W0
maxL( X1,..., X n |  )
 
∴ Λ = min (Λ*,1)
Λ*小時, Λ亦小
The rejection region for a likelihood ratio tests consists of small values of Λ,
如所有Λ≦λ0
Example: X1, X2 ,…, Xn ~ i.i.d N (μ, σ2 ) σ is known
test Ｈ0 : μ=μ0
W0={μ0 }
Ｈ1 : μ≠μ0
W1={μ≠μ0} Ω=R
max L( X1,..., X n |  ) : 此max在   X 時達到
 
( xi  0 ) 2

2
1
2

所以
i
e
n
1
( 2  )
2
2


(
x


)


(
x

X
)

i
0
i
=
2
2
2

( xi  X )
e

1
2 2
i
e
( 2  ) n


 ( xi  0 )2   ( xi  X )2  2 ( X  0 ) xi  n( X 2  02 )
i
=
=
i
2n( X  0 ) X  n( X  0 )( X  0 )
=
n( X  0 )[2 X  X  0 ]
   0  2 log   2 log 0
under H0
X ~ N (  0,
2
n
)
i.e. at level α, rejects H0 when
n

i.e.
2
( X   0) ~ x1 2
2
n

n( X   0 ) 2
n

( X   0) 2  c
2
( X   0) 2  x12 ( ) or
2
X  0
 Z ( )
2

n
在尋找一顯著水準為α之 Likelihood ratio test 時, 我們要決定 λ0 之值使得當
H0 為真時 , P(Λ≦λ0) = α
若當 H0 為真時, Λ 之 prob. 分配為已知, 則可找得 λ0, 但一般樣本分配可能
相當複雜, 則可用下列之定理.
定理A: 當 joint p.d.f. 滿足某些平滑條件時, -2logΛ 之 null dist. 當 n→∞ 時,
會趨近於 Chi-square dist. with d.f. = dimΩ - dimW0
其中 dimW0 及 dimΩ 指在 W0 及 Ω 中 free parameters 之數.
在上例中, dimΩ= 0, dimW0 = 1
∵W0={μ0}, σ 又已知, 沒有 free parameter
Ω 中只有 μ 為 free.
9.6 Likelihood Ratio Tests for the Multinomial Distribution
在 multinomial goodness-of-fit test 中, 虛無假設
H0 : P = P (θ) W0 , 其中 P 為 cell prob. 向量, θ 為參數
m
HA : H0 not true
  {  Pi  1, Pi  0}
i 1
likelihood ratio 之分子部份. max n!  P ( ) x1  P ( ) xm
1
m
PW 0  x ! x ! 
m 
 1
其中 xi 為 m 格子中之觀測計數.
由 M.L.E. 之定義: 一 M.L.E. ˆ 即為使 Likelihood function 為最大之 θ.
∴相對應 ˆ 之 Pi 值以 Pi (ˆ)表之.
由於 P Ω 時, 沒有 Pi  1以外之限制
x
Pˆi  i
n
n!
xm
x1
ˆ
ˆ
P
(

)

P
(

)
x
1
m
所以 the likelihood ratio 為
m  Pi (ˆ)  i
x1! xm !


  
ˆ
n!
i 1  Pi 
Pˆ1 x1  Pˆm xm
x1! xm !
 xi  nPˆi
m
 Pi (ˆ ) 
O 
ˆ
  2  Oi log  i  where Oi  nPˆi , Ei  nPi (ˆ)
 2 log   2n  Pi log 
i 1
i 1
 Ei 
 Pˆi 
m
分別代表觀測到的格子計數及期望值
under HA : Ω 為 free 所以 dimΩ = m-1
ˆ
under H0 : Pi (ˆ) depend on a k-dimensional parameter θ ( 為估計值)
∴ dim W0 = k .
由前述定理:
m
 Pˆi 
ˆ

 2 log   2n  Pi log 
ˆ
i 1
 Pi ( ) 
當 H0 為真, n 很大時 Pˆi  Pi (ˆ)  Pi (true parameter)
利用 Taylor expansion 對函數 f (x) 在 x = x0 處展開
 x 
f ( x)  x log  
 x0 
1
1
f ( x)  ( x  x0 )  ( x  x0 ) 2  
2
x0

Pˆ o  Pi(ˆ)
ˆ
ˆ
 2 log   2n Pi  Pi( )  n
Pi(ˆ)
m
m
i 1
i 1
2
=
0 ( Pˆ i  Pi(ˆ)  1)
second term on the right hand side.
m x  Pi(ˆ) 2
(Oi-Ei)2
i
 nPi(ˆ)  
Ei

i 1

all cell
 xi  nPˆi
此檢定即為前面8.2節中提到的 Pearson’s  -test for goodness of fit.
而 Pearson’s  2 -test for goodness of fit 通常較常被用.因為計算上比較容易.
2
Ex : (Hardy-Weinberg Equilibrium)
Genotype
AA
Aa
aa
2θ(1-θ)
θ2
3  x2
2
x
 0.424
M.L.E. of θ ˆ 
2n
Blood Type
M
MN
(1-θ)2
N
Observed
342
500
187
Expected
340.6
502.8
185.6
H0 : as special above.
H1 : the multinomial dist. does not have the probability specified above.
α= 0.05
(O  E ) 2 (342  340.6) 2 (500  502.8) 2 (187  185.6) 2
x 



E
340.6
502.8
185.6
= 0.00575 + 0.01559 + 0.01056
= 0.0319
2
x12 (0.05) = 3.84
do not reject H0
x2 (0.76) = 0.09 so the p-value 為 0.76
p-value 之另一種解釋為在模型正確的假設下,會出現此值之機率為76%.
The likelihood ratio test statistic 為
O 
 2 log   2  Oi log  i   0.032
i 1
 Ei 
3
p-value 為 0.86.
Ex B (Bacterial Clumps)
在一檢查牛奶是否被細菌污染之實驗中,將 0.01 毫升的牛奶灑在一
1平方公分之玻璃片上,再在顯微鏡下觀察在有格子之方塊中有多少個細菌塊.
首先 Poisson model 似乎看起來十分合理,因為細菌塊相當均勻的分佈在牛奶
中, 但實際上可能會有兩個問題.
1. 在牛奶滴的下表面在與玻璃片相接處可能濃度較高.
2. 玻璃片的厚度不一致.在中心較厚,在邊緣較薄.所以細菌的濃度亦非均勻分佈.
以下為 Bliss & Fisher (1953) 之表, 為在400個方格上之計數.
Number per square
0
1
2
3
4
5
6
7
8
9
10
19
Frequency
56
104
80
62
42
27
9
9
5
3
2
1
Fit P (λ)中 λ 之M.C.E.
ˆ 
0 x56  1x104    19 x1
 2.40
400
下表顯示 observed 及 expected counts 及 chi-square test stat. 之計算值.最後幾
個格子則集合在一起,使得 expected counts 不致太小,靠近5.
Observed
56
104
80
Expected
34.9
85.1
12.8
4.2
(Oi -Ei )2 Component of
X2
Ei
62
42
27
9
20
103.8 84.4
51.5
25.1
10.2
5.0
5.5
1.8
0.14
0.14
45.0
6.0
x2 = 75.6
∵x62 (0.005) = 18.55 d.f. =6=8-1-1
p-value ＜ 0.005 rejects H0
model fails 之原因來自第一格及最後一格,太多小的及太多大的.
Ex C. (Fisher’s Reexamination of Mendel’s Data)
在孟德爾許多有名的實驗中, 其中一個實驗是將 smooth, yellow (平滑,黃色) 的
male peas, 與 wrinkled, green (皺, 綠色) 的 female peas 相配. 根據現在的基因
理論.子孫的相對頻率應為:
Type
Frequency
Observed count
Expected count
Smooth-yellow
3/4 3/4
9/16
315
312.75 = 556 x 9/16
Smooth-green
3/4 1/4
3/16
108
104.25 = 556 x 3/16
Wrinkled-yellow
1/4 3/4
3/16
102
104.25 = 556 x 3/16
Wrinkled-green
1/4 1/4
1/16
31
34.75 = 556 x 1/16
556
dimΩ-dimW0
=
 Oi 
 2 log   2  Oi log    0.618
d.f. = 3
i 1
 Ei 
2
p-value ＜ 0.9
Pearson chi-square  = 0.604
4
0
若模型正確會有這樣的差距之機率有90%,所以沒有理由拒絕H0 .只有在 p-value
很小時,我們才會懷疑模型的正確性.或 On the basis of chance 只有 10% of the
time 會比這更靠近.又當模型 fit 太好時, 如 p-value 為 0.999, 我們會懷疑此模
型之可靠性,亦是十分合理. Fisher 將 Mendel 之實驗結果混何在一起來作檢驗.
2
如將二獨立實驗,根據所得數據作  -test d.f. 為 p 及 r, 則在虛無假設下可將二
統計量合併(相加)得另一 chi-square with d .f. p+r . Fisher 將所有 Mendel 所有的
實驗結果合併在一起,如此做了以後發現 p-value 變成 0.99996. 而這樣的好的
match, 照機會在100,000次中只有可能發生4次.
(問題) Mendel 是否故意或無意識的捏造數據?或技術員捏造?上帝介入賜予他
的?較合理的解釋是他一直做到 good fit 為止.在此  2-square假設 n 為 fixed.
Mendel 並非唯一結果 is “too good to be true” 的科學家.一為英國心理學家
Cyril Burt 在研究”遺傳對智力的影響”的辯論中,有極大的 impact. 他許多論文
及相當多方面的數據都在設法支持此論點. Burt 是在1946年為第一位封爵的心
理學家,但到了1970年他的工作受到不少攻擊,被別人懷疑為杜撰資料,在他最有
名的研究之一有40,000父與子的智力及職業中, Dorfman (1920) 將智商分數以
normal dist. 來 fit, 並作 goodness of fit. P-values 分別對父親與兒子而言都超過
1-10-7 及 1-10-6. Dorfman 之結論是 Burt 的 frequency dist. 為人類學測量歷史
中最normally distributed !!
9.7 The Poisson Dispersion Test
The likelihood ratio test及Pearson’s chi-square test 是在未對 alternative
hypothesis 作任何假設下得到的.若我們對 alternative hyp. 有些了解, power一般
會比較好.以下討論 Poisson dist. 之檢定.
樹葉上的昆蟲數: 當葉子大小不同時,且採自於不同的植物時,可能各個 counts
之 rates λ 並不同.
昆蟲孵出時通常都是一群一群,所以不滿足 independence 之假設.
給定 counts x1,…,xn
H0 : xi 來自 P(λ) v.s. H1 : xi 來自 P (λi )
under H0, . under Ω. M.C.E. of λi 為 xi
ˆ


x
 ˆ i e
n
xi !
n  x  xi x  x
i
  i 1
    e
ˆ
n
xi 
 i

i

1
x
e
ˆ
 i i
xi !
i 1
n 

x
 2 log   2   xi log     xi  x 
 xi 

i 1
n
x 
 2  xi log  i 
x
i 1
f ( x)  x log
x
1
1
 ( x  x0 )  ( x  x0 ) 2
x0
2
x0
n
1
1

 2   xi  x    xi  x 2 
2
x
i 1
利用 Taylor Series argument 可得近似之對等型式.
1 n
n(est. variance)
 2 log     xi  x 2  可看成為
x i 1
est. mean
∵under Ω = W0∪W1 有 n 個 free parameters ∴ dimΩ = n
under W0
∴ degree of freedom dimΩ-dim W0 為 n-1.
dim W0 = 1
對 Poisson dist. 而言, mean 和 variance 是一致的.而對 H1 而言, variance
是大於 mean. 故此檢定常被稱為 the Poisson dispersion test. 此檢定 alternatives
一若相對於 Poisson dist. 為 overdispersed. 如 negative binomial dist. The ratio
ˆ 2 有時用來測量群聚的程度.(在沒有足夠數據,使得在好幾個 cells 中無法
x
累積有相當的數據,以致無法使用 Pearson’s chi-square test 時, 即用Poisson disp.
test) (每個 cell 中至少要有5個 obs. 才會使得 Pearson chi-square 中的檢定統計
量接近一  2 的分佈)
Ex. A. (石綿纖維之例)
國家標準局. 石綿纖維在23方格上之 counts 是否可用 Poisson dist. 來fit.
1 n
2
用 Poisson dispersion test.   xi  x   26.56
x i 1
x
or likelihood ratio test 2xi log  i   27.11 d.f. = 23 – 1 = 22
x
p-value 大約為0.21
∴證據不足以拒絕 H0, 但因樣本小(23個 obs. ), power 可能較低.
Ex. B. (細菌塊) 牛奶中之細菌塊是否可用 Poisson
2
2
2
2 0 x56  1 x104    19 x1
ˆ 
 x2
400
 xi  x 2 1
 ( xi 2 )  x 2
= 4.59
n
n
nˆ 2 400 x 4.59
T

 752.7
x
2.40
2

under H0 T~ 399 由中央極限定理.
 T  399 560  399 
P(T  560)  P

  1  (12.5)  0
2 x399 
 2 x399
∴Poisson model fails to fit the data.
9.8 Hanging Rootograms
本節中為利用 graphical 方式顯示 observed 及 expected values in
histograms. 我們使用由臨床化學(Martin, Cudizinowicz, & Fanger, 1975 ) 之一組
數據說明之. 下表為152個血清中之鉀的成分, 在臨床化學常以此建立分配以決
定在病人的血清含鉀的成分是否正常.下表為數據之分佈表,想 fit normal 分配.
9-1(a) 為頻率之直方圖.看起來是 bell-shaped, 但 normal 分配不只是
bell-shaped 而已.故將 observed 與由 normal fit 之期望值比較.由 data 估計 μ
及 σ.
ˆ  x ,ˆ  s 設 xj-1, xj 分別為第 j 個 interval 之左、右端點.則根據
normal model 落在此區間之機率為
xj  x
 x j 1  x 
ˆ



Pj  P( x j 1  X  x j )  
 

 ˆ 
 ˆ

若 sample size 為 n, 則落在第 j 個區間之預測或配合值為 nˆ j  nPˆ j
然後可以與 nj 比較之.
9-1(b)為 ”hanging histogram” of the differences n. j  nˆ j
一 cell 到另一 cell 之變異是否為 constant .
但此量很難解釋因為
(方法一) hanging rootogram
若忽略期望值估計量之變異 Var(n j  nˆ j )  Var(n j )  nPj (1  Pj )
在此例中 n, Pj (或nj) 皆很小, 則
Var(n j  nˆ j )  nPj  nˆ j  E(n j )
=>此 unequal variability 使得
無法由 hanging rootogram(即
對那些相對較大的 Pj (或nj) 則 n j  nˆ j 之差異亦大. ( n j  nˆ j )之大小來判斷dist.
fit 的好壞), ∵當 n j  nˆ j 大
Variance stabilized transformation
時,可能是真正 fit 較差的地方,
X ~ r.v. E (X) = μ
也可能是由於在該處的
當 Var (X) = h (μ)
variance 較大所造成.
考慮 Y = f (x).
Var(Y )  [ f ' ( )]2 Var( X )  [ f ' ( )]2 h( )  constant
1
h(  )
在上述例子 h (μ)=μ
 f ' ( ) 
 f ' ( ) 
c

 f ( )  
hanging rootogram 即可考慮 f ( x)  x 的轉換 Var( x )  1/ 4 (Var ( n j )  1 / 4)
∴當
n j  nˆ j  2  Var(n j ) or 3  Var (n j )可視為大的 deviate 差異
1
1
2

3
=
or
= 1 or 1.5
2
2
(方法二) hanging chi-gram
n j  nˆ j
(= components of Pearson’s chi-square statistics)
nˆ
j
( Var(n j  nˆ j )  nPj  nˆ j )
 n  nˆ j 
 1
( Var  j
)
 nˆ j 


∴此方法亦 stabilize the variance of nj
9.9 Probability Plots
“機率圖”是一相當有用的圖示法,可觀察數據與理論分配值之差異.考慮
一樣本數為n之隨機樣本,其共同分配為 uniform [0,1]. 令
X (1)＜X (2)＜…＜X (n) 為其有序樣本.
j
j
則 E X (j) =
此性質即建議繪製點 (
, X (j) ) 在圖上.圖9-2為一樣本為100
n

1
n 1
之圖.
圖9-3
令 Y1, …, Y100 為一隨機樣本, 其共同分配為二 indep. U [0,1] 之平均.
i.e. Y=(U1+U2)/2, 其機率密度函數為 f (y) = 4y , 0≦y≦1/2
4 - 4y , 1/2≦y≦1
j
將 ( n  1, Y (j) ) 畫圖, 可看出偏離直線.
在左邊的尾端
observed ＞ expected U [0,1]
在右邊的尾端
observed ＜ expected
 Y分佈的 tails 比 uniform (0,1) 的 tail 下降的快 (即 tail 較 light )
此技巧亦可推廣到其他連續隨機變數.由前面已知若 X 為連續, 其分配函數
Fx 為 strictly increasing. 則
Y = Fx(X) ~ U [0,1]
∴給一樣本 X1,…, Xn 繪
k
k
-1
F(X (k) ) v.s. n  1 或 X (k) v.s. F ( n  1)
 x 
若在有些情形下，F之形式為F  x   G 




 稱為位置參數， 尺度參數，常態分配即屬此類
 k 
v.s. G 1 


 n 1
 k 
X k   G 1 

 n 1
則plot
or
X k   
ExA：前述之probability plot之方法應用在Michelson之光
速測定實驗數據，由1897年6月5日至7月2日，將原始值
減去299000後之100個數據如下(data from Stigler 1977)：
Fig.9.4
ExB：500 pseudorandom variablesfroma double exponent ia
l
dist ribut ion：
1 x
f x   e ,    x  
2
double exponent ia
l 對稱於0
x
 x2
但其尾端下降速率為e 比 e 少的多
故其尾部比 normaldist ribut ion 為重
左邊 observat ions < expect ed (normal)
Fig. 9.5
右邊 observat ions > expect ed
Fig. 9.6
Fig.9.7
Gam m a( ,  ),   0.471, a  1
 does not affect thestraightness of theprobability plot.
precipitation
ExD：血清中含鉀的成分
deviation in the right tail are apparent
9.10T estsfor Normality
Departuresfrom normalityoften taketheformof asymmetry,or skewness.
(1)若欲檢定依組樣本x1  x n 是否來自一常態分配且有相的mean及variance.
可利用coefficient of skewness之goodness- of - fit test.


3
1 n
X

X
 i
n i 1
b1 
s3
rejects H 0 當 b1 large.
(2)若分配為對稱，但可能尾端很重或很輕或中央太尖或太平，
這類的偏離可以coefficient of kurtosis來決定

1 n
 Xi  X
n i 1
b2 
s4

4
同樣rejestsH 0 , 當b 2太大或太小。
但在虛無假設下，b1及b 2樣本分配之closed form不易計算
但可用simulation得到近似值。
另外亦可用probability plot中之相關係數r來檢定，r值小的時
候為配合度不佳，即rejects when r is small。
在normal假設下之r的sampling dist用simulation得到 Table