5. 가설 검정

5.1 표본분포 5.2 용어의 개념 5.3 가설 검정 절차 5.4 양측 검정과 단측검정 5.5 오류의 종류 5.6 t-분포 5.7 모평균의 검정 5.8 Goodness-of-fit Tests 5.9 비모수적 검정

5.1 표본분포

• 확률 표본 : 모집단으로부터 추출된 f(x)의 확률밀도함수를 갖는 서로 독립인 확률변수들 • 통계량 : 확률표본의 함수 예) 표본평균, 표본분산 • 표본 분포 : 통계량의 확률분포 예) 60년간 7월 일평균 기온의 집단으로부터 7월 평균 온도(31일 평균) 의 확률분포

표본평균의 분포 X₁, … ,X n

n X



i

  1

n X

이 정규 분포 N( μ, σ 2 )로부터의 확률표본일 때 표본 평균

i

에 대하여

E

(

X

)  1

n E

(

X

1   

X n

)  1

n

(

E

(

X

1 ) 

E

(

X

1 )   

E

(

X n

))   1

n

 (

n

 )

Var

(

X

) 

Var

( 1

n

(

X

1   

X n

))  1

n

2 (

Var

(

X

1 )   

Var

(

X n

))   1

n

2  2 (

n

 2 )

n

모집단의 분포가 정규분포 N(μ, σ 2 )인 경우에 른다.

 2 의 분포는 N( μ, )를 따

표본 분산의 분포 카이제곱분포의 정의: 확률변수 Z 1 , Z 2 , ….Z

k 가 각각 표준 정규분포 N(0,1)을 따르고 서로 독립일 때 𝑍 1 2 + 𝑍 2 2 + 𝑍 3 2 ⋯ 𝑍 𝑘 2 의 분포를 자유도 k인 카이제곱 분포라 함 𝑍 1 2 + 𝑍 2 2 + 𝑍 3 2 ⋯ 𝑍 𝑘 2 ~𝜒 2 (𝑘)

• 정규모집단에서 표본 분산의 분포 𝑆 2 X₁, … ,X n = 𝑛 𝑖=1 𝑋 𝑖 이 정규 분포 N( μ, σ 2 )로부터의 확률표본일 때 표본 분산 2 /(𝑛 − 1) 에 대하여 𝑛 − 1 𝑆 2 𝜎 2 ~𝜒 2 (𝑛 − 1) 이 성립함

◦

중심극한정리(Central Limit Theorem)

평균이 μ이고 분산이 σ 2 인 임의의 모집단 으로부터의 크기 n인 확률표 본에서의 표본평균은 n이 충분히 크면 근사적으로 정규분포 N( μ, 𝜎 𝑛 ) 을 따른다. 즉 n이 충분히 클 때

Z



X

  

n

~

N

( 0 , 1 )

5.2 용어의 개념

① 대립가설 하여 입증하고자 하는 가설 예) H 1 (alternative hypothesis) : 자료로부터의 강력한 증거에 의 :올해의 7월 기온은 평년과 같지 않다.

② 귀무가설 (null hypothesis) : 이에 상반되는 가설 예) H 0 : 올해의 7월 기온은 평년과 같다.

③ 검정통계량 (test statistic) : 귀무가설과 대립가설 중 어느 하나를 택 하는데 사용되는 통계량 ④ 기각역 (rejection region) : 귀무가설 H 0 를 기각하게 되는 검정통계량 의 관측 값의 영역

⑤ 한계 유의수준 (significance level) : 제1종 오류를 범할 확률의 최대 허용 α=0.01, α=0.05, α=0.1 등 ⑥ 유의확률 (p-value) : 검정통계량의 관측 값에 대하여 귀무가설 H 0 을 기각할 수 있는 최소의 유의수준

5.3 가설 검정 절차

① 검정통계량을 설정한다.

② 귀무가설을 정의한다.

③ 대립가설을 정의한다.

④ 검정통계량의 표본분포를 구한다.

⑤관측된 검정통계량과 표본분포를 비교한다.

5.4 양측검정과 단측 검정

양측검정: 기각역이 양측에 있는 경우 대립가설: 귀무가설: 기각역:

Z

  

z

   25 25 단측검정: 기각역이 어느 한쪽에 있는 경우 대립가설: 귀무가설: 기각역:

Z

μ   > 

z

 25 25

5.5 오류의 종류

실제현상 검정결과 H H 0 1 를 채택 을 채택 H 0 가 사실

옳은 결정

제1종 오류 H 1 이 사실 제2종 오류 옳은 결정

예제 • 어느 리조트에서 이 지역은 늦여름에 7일 중에 6일이 맑은 날이라고 광고를 하였다. 어떤 사람이 이 주장이 사실인지를 조사하기 위하여 관측을 수행하여 25개의 독립사건을 수집하고 맑은 날의 수를 조사 하였더니 15일이 나왔다. 관측값에 근거하여 리조트의 주장을 반박 할 수 있을까?

• 이항분포에 근거해서 조사하기 위해서 자료가 이항분포의 조건에 맞아야 함. 개별 사건이 독립이고 확률이 일정해야 함 • • 그러므로 조사자는 리조트의 주장을 검증하기 위해서 25개의 독립 사건에 대한 관측을 수행해야 하므로 연속 날에 대해서 자료를 수집 하면 안되고 연속되지 않은 날들에 대해서 25개의 자료를 수집해야 함. 왜냐하면 기상자료는 serial correlation을 갖고 있기 때문임.

1. 검정 통계량을 맑은 날의 확률로 정함 관측으로부터 해당변수는 15/25가 됨 2. 그 다음 귀무가설은 리조트의 주장이 맞다면 P>6/7=0.857

왜냐하면 리조트의 주장은 맑은 날의 확률이 낮을 때 틀리는 것이므 로 단측검정 사용 3. 대립가설은 P<6/7 4. 검정 통계량에 대한 귀무가설이 참인 조건에서 표본 분포를 구함 B(25, 0.857) Pr{X  15}= 15 𝑥=0 25 𝑥 0.857

𝑥 (1 − 0.857) 25−𝑥

• 이항분포의 정규근사 이항분포 B(n,p)를 하는 확률변수 X에 대해, n 이 충분히 크고 p가 0 또 는 1에 가깝지 않다면 표준화된 확률 변수 𝑥−𝑛𝑝 𝑛𝑝𝑞 의 분포는 근사적으로 표준 정규 분포 N(0,1)을 따른다. 이항분포의 평균 이항분포의 분산 𝑛𝑝 = 25*0.857=21.4

𝑛𝑝𝑞 = 25*0.857*(1-0.857)=1.75

15 − 21.4

Pr 𝑋 ≤ 15 = Pr 𝑍 ≤ = 0.00012

1.75

맑은 확률이 0.857에서 맑은 날이 15일 이하로 나올 확률은 매우 낮음 관측값은 귀무가설을 기각할 강력한 증거를 제시함

5.6 t-분포

• X₁, … ,X n 𝜎 2 𝑁 𝜇, 𝑛 이 정규 모집단 N( μ, σ ~𝑁(0,1) 이 성립함. 2 )로부터의 확률표본일 때 σ가 미지인 경우 표본표준편차 𝑋−𝜇 𝑆/ 𝑛 의 분포를 t분포라 부름.

는 𝑆 를 대입하여 스튜던트화된 확률변수

t-분포의 정의 : 표준 정규 분포 N(0,1)을 따르는 확률 변수 Z라 하고 이 와는 독립이며 자유도 면 k 인 카이제곱 분포를 따르는 확률 변수를 V라 하 𝑍 𝑇 = 𝑉/𝑘 의 분포를 자유도 k인 t 분포라 한다. 이 때 기호로 나타내면 𝑇~𝑡(𝑘)

• 0을 중심으로 좌우 대칭형이지만 표준 정규분포에 비하여 두터운 꼬 리를 갖고 있는 것이 특징 자유도가 큰 경우 t-분포는 정규분포에 가까워 짐 (예: 자유도 30 -3% 차이, 자유도 100 – 1% 차이) 붉은 선: 정규분포 푸른 선: t-분포 (자유도 3)

• Basu의 정리 X₁, … ,X n ~ N( μ, σ 2 )일 때 와 𝑆 2 은 서로 독립이다.

스튜던트화된 확률변수의 분포 = 𝜎 𝑛 ) 𝑆/ 𝑛 𝑛 − 1 𝑆 2 𝜎 2 /(𝑛 − 1) = 𝑍 𝑉/(𝑛 − 1) ~𝑡(𝑛 − 1)

H 0 : μ = μ 0 H 1 : μ ≠ μ 0 유의수준 α :

X

  

n



c

  

n



Z

 2 기각역 R 양측검정의 경우

X

  

Z

 2

X

  

Z

 2  

n n

5.7 모평균의 검정

정규검정 • 모평균의 검정 : 모분산 σ 2 이 알려진 정규모집단에서 아래의 가설들 에 대한 검정통계량은

Z



X

   0

n

이며, 기각역은 다음과 같다.

a) b) c) 귀무가설

H 0 : μ  μ 0 H 0 : μ  μ 0 H 0 : μ = μ 0

대립가설

H 1 : μ > μ 0 H 1 : μ < μ 0 H 1 : μ ≠ μ 0

유익수준 α인 기각역

Z



Z



Z

 

Z



Z



Z

 2

• t-test 모분산이 알려지지 않은 정규모집단에서 아래의 가설들에 대한 검정통 계량은 T= 𝑆/ 𝑛 기각역은 다음과 같다.

귀무가설 대립가설 유익수준 α인 기각역 a) b) c)

H 0 : μ ≤ μ 0 H 0 : μ ≥ μ 0 H 0 : μ = μ 0 H 1 : μ > μ 0 H 1 : μ < μ 0 H 1 : μ ≠ μ 0

T T



t

(

n

 1 ,  )  

t

(

n

 1 ,  )

T



t

(

n

 1 ,  2 )

• 표본크기가 큰 경우에 임의의 모집단에서 아래의 가설들에 대한 검정 통계량은 σ 2 을 알 때 σ 2 을 모를 때

Z Z

= 

X

σ μ 0

n X

  0

s n

• 기각역은 다음과 같다.

귀무가설 대립가설 a) b) c)

H 0 H 0 : μ ≤ μ 0 : μ ≥ μ 0 H 1 : μ > μ 0 H 1 : μ < μ 0

H 0 : μ = μ 0 H 1 : μ ≠ μ 0 유익수준 α인 기각역

Z Z Z

  

Z

 

Z



Z

 2

예제 • 대기 중 이산화탄소의 농도가 두 배가 되었을 때와 현재 상태의 겨 울철 500hPa의 고도선의 변화를 분석하기 위해서 표본 수를 각각 30개씩을 취하여 평균과 표준편차를 계산하였다. 평균값의 차이는 50m 가 나타났고 표준편차는 50m로 같게 나타났다. 대기 중 이산화탄소의 농도 변화가 겨울철 500hPa의 고도선의 현저 한 변화를 유발했다고 말할 수 있는가?

검정 통계량: 𝑥 1 − 𝑥 2 귀무가설: 차이가 없다.

대립가설: 차이가 있다.

표본분포: 귀무가설에 근거해서 표본분포를 구함 𝐸 𝑥 1 − 𝑥 2 = 0 Var 𝑥 1 − 𝑥 2 = 𝑉𝑎𝑟 𝑥 1 + 𝑉𝑎𝑟 𝑥 2 = 𝑠 1 2 + 𝑛 1 𝑠 2 2 𝑛 2

• 𝑧 = [ 𝑥 1 − 2 𝑠12 𝑛1 + 𝑠22 𝑛2 ] 1/2 • n 1 과 n 2 가 충분히 큰 경우 Gaussian 근사 적용가능 예) 𝑥 1 − 𝑥 2 =50m 𝑠 1 2 𝑛 1 + 𝑠 2 2 𝑛 2 = 50 2 + 30 50 2 30 = 166.6

𝑧 = 50 166.6

= 3.8

유의 수준 5% 양측검정 3.8>Z 0.025

=1.96

3.8

5.8 Goodness-of-fit test • 이론 분포가 얼마나 관측값과 잘 맞는지를 정량적으로 평가하는 방 법 1) one-sample Kolmogorov-Smirnov (K-S) test 관측값이 이론분포로부터 취해졌다는 귀무가설하에 한 표본에 대해서 경험 누적 확률분포와 이론 누적확률분포를 비교하는 것 충분히 큰 차이가 귀무가설을 기각시킴 원래 방법의 조건은 이론분포의 매개변수가 자료표본으로부터 추정되 지 않아야 함 -> 실제 사용할 때 제약조건으로 작용 매개변수가 data에 tuning 되어짐.

확률밀도함수 ( Probability density function; PDF) 누적 분포 함수 ( Cumulative distribution function; CDF)

수정된 KS 방법 : Lilliefors test 검정통계량 𝐷 𝑛 = max |𝐹 𝑛 𝑥 − 𝐹 𝑥 | 𝐹 𝑛 𝐹 𝑥 𝑥 : empirical cumulative probability : theoretical cumulative probability 검정을 통과하기 위해서 포에 의존함 𝐷 𝑛 의 기준값은 표본 크기와 유의수준, 이론 분

예제 • 1933 년부터 1982년까지 Ithaca 1월 강수량의 분포에 대하여 Gaussian과 Gamma 분포의 적합성 조사

• 단측검정 왜냐하면 차이가 클수록 귀무가설을 기각할 근거를 제시하는 것이므로 Gaussian 분포의 경우 Sample size: 50 𝐷 𝑛 = 0.131

5% 유의수준의 기준값 0.886

0.886

= = 0.125

𝑛 50 1% 유의수준의 기준값 1.031

1.031

= = 0.146

𝑛 50 1% 유의수준에서는 Gaussian 분포 적합하지만 5% 유의수준에서는 적합하지 않음

Gamma 분포의 경우 Sample size: 50, 𝐷 𝑛 = 0.068

𝛼 = 3.76

20% 유의수준의 기준값 0.75

0.75

= = 0.106

𝑛 50 20% 유의수준에서는 Gamma 분포 적합

2) 카이 제곱 검정 (

𝝌 𝟐

test)

자료의 히스토그램을 이론 본포와 비교함 𝜒 2 = 𝑐𝑙𝑎𝑠𝑠 (# 𝑜𝑏𝑠𝑒𝑟𝑣𝑒𝑑 − # 𝑒𝑥𝑝𝑒𝑐𝑡𝑒𝑑) 2 # 𝑒𝑥𝑝𝑒𝑐𝑡𝑒𝑑 # 𝑒𝑥𝑝𝑒𝑐𝑡𝑒𝑑 = 𝑛𝑃𝑟{𝑑𝑎𝑡𝑎 𝑖𝑛 𝑐𝑙𝑎𝑠𝑠} 자료가 이론함수로부터 취해졌다는 가설하에서 검정통계량은 자유도 𝜈 = (# 𝑜𝑓 𝑐𝑙𝑎𝑠𝑠 − # 𝑜𝑓 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑒𝑟 − 1) 를 갖는 카이제곱 분포를 따름. 검정은 단측검정

카이제곱 분포(k)와 감마분포의 관계 자유도가 k를 갖는 카이제곱분포는 𝛼 = 𝑘/2 이고 𝛽 = 2 인 감마분포임

예제 • 카이제곱검정을 이용한 Gaussian과 Gamma분포의 적합성 판정

Gaussian 분포: 𝜒 2 =14.96, 자유도= 6-2-1=3 Gamma 분포: 𝜒 2 =5.05, 자유도 =6-2-1=3 카이제곱 분포는 𝛼 = 𝜈 2 , 𝛽 = 2 인 감마분포임 그러므로 𝛼 = 𝜈 표준 검정량은 2 = 1.5, 𝛽 = 2 인 감마분포 𝛽 = 1 일 때 주어지므로 𝜉 = 𝜉 = 14.96

= 7.48

2 5.05

= 2.53

2 Gaussian Gamma

0.826

0.998

유의확률1-0.826=0.174

1-0.998=0.002

5.9 비모수적 검정

• 모수적 검정: 특정 이론 분포가 자료를 표현하기에 적절하다는 가정 하에 수행하는 검정 자료가 정규분포를 만족한다거나 t-분포를 만족한다 등 • 비모수적 검정: 자료의 분포를 가정하지 않고 수행하는 검정 고전적인 방법: 자료의 순위에 대한 분포를 이용함 resampling 방법: 자료로부터 재 표본과정을 통해 자료의 분포를 만들어냄 모수적 검정과 비모수적 검정의 차이는 null distribution을 어떻게 얻느 냐이다.

고전적인 비모수적 검정법 Wilcoxon 의 순위합 검정 Wilcoxon 과 Mann and Whitney에 의해서 독립적으로 1940년대에 개 발됨 두 집단을 합쳐서 혼합 자료 값의 순위를 매긴 후 순위 합을 통계적 검 정량으로 사용 𝑛 = 𝑛 1 + 𝑛 2 𝑅 1 : 𝑛 1 개의 자료로 구성된 집단의 순위의 합 𝑅 2 : 𝑛 2 개의 자료로 구성된 집단의 순위의 합 𝑛(𝑛 + 1) 𝑅 1 + 𝑅 2 = 1 + 2 + ⋯ 𝑛 = 2 𝑛 개의 자료가 𝑛 1 , 𝑛 2 로 나누어질 경우의 수 𝑛!

𝑛 1 ! 𝑛 2 !

예) X: X 1 , X 2 , X 3 Y: Y 1 , Y 2 혼합자료: X 1 , X 2 , X 3 , Y 1 , Y 2 순위: 1, 3, 5, 2, 4 Y 자료의 순위의 합: 2+4=6 5개의 자료를 2와 3개의 자료를 갖는 두 집단으로 나눌 경우의 수 5!

2! 3!

= 10

X와 Y가 같은 평균을 갖는다면 순위의 합은 5개의 자료에서 2개를 취했을 때 갖는 순위의 합의 분포를 갖게 됨.

Y 의 순위 W 확률 1,2 3 0.1

1,3 4 0.1

1,4 5 0.1

1,5 6 0.1

2,3 5 0.1

2,4 6 0.1

2,5 7 0.1

3,4 7 0.1

3,5 8 0.1

4,5 9 0.1 0,25 0,2 0,15 0,1 0,05 0 3 4 W=6인 경우 W=9 인 경우 5 6 7 8 9

자료의 개수가 많은 경우: 모든 경우의 수를 다 계산할 필요 없이 다음 의 검정 통계량을 사용함 𝑈 1 = 𝑅 1 − 𝑛 1 2 (𝑛 1 + 1) 𝑛 1 이 충분히 큰 경우 (10이상) U 1 은 정규분포를 만족함 U의 평균과 표준편차는 다음과 같이 주어짐 𝑛 1 𝑛 2 𝜎 𝑈 = [ 𝑛 1 𝜇 𝑈 𝑛 2 = 𝑛 1 2 + 𝑛 2 12 + 1 ] 1/2

예제 구름 씨뿌리기 실험 평가 구름씨를 뿌렸을 때 번개 발생률이 변화가 있는지 여부를 평가함

𝑛 1 = 12 𝑈 1 = 𝑅 1 − 𝜎 𝑈 𝑛 2 1 𝑛 1 + 1 = 108.5 − 6 12 + 1 = 30.5

𝜇 𝑈 = 𝑛 = [ 𝑛 1 𝑛 2 1 𝑛 2 2 𝑛 1 = 12 12 × 11 + 𝑛 2 2 + 1 ] = 66 1/2 = 16.2

Z = 30.5 − 66 16.2

= −2.19

P-value: 0.014

전체 조합: 23!

12!11!

= 1,352,078 중에 해당순위 합이 나올 확률은 1.4%임

Resampling Tests

Rerandomization test 또는 Monte-Carlo test로 알려짐 실제 자료와 같은 크기를 갖는 인위적인 자료집단을 만들고 인위적인 자료 집단으로 부터 검정 통계량을 계산함 Random number generator를 이용함 Resampling test의 장점 자료에 대해 이론분포를 가정할 필요가 없음 물리적으로 중요하다고 생각되는 임의의 통계값을 자료로부터 계산될 수 만 있다면 검정 통계량으로 사용할 수 있음

예제 1933년부터 1982년까지 Ithaca지역의 1월 강수량의 로그의 표준편차 50년의 자료로부터 계산된 값: 0.537

자료로부터 n=50인 자료를 10000쌍을 만들어냄