Transcript 정확도와 신뢰도

ROC Method
기모란
을지의과대학교 예방의학교실
차례
 정확도(Validity)
 ROC 그래프 그리기
 SPSS
 MedCalc
 Excel
 민감도, 특이도 관련요인
 예측도(Predictive value)
 우도비(Likelihood ratios)
좋은 진단 검사란?
정확도와 신뢰도
진단검사: 질병을 가진 사람과 가지지 않은
사람을 구분하기 위해서 시행
 검사의 정확도
(타당도, validity, accuracy,)
 검사의 신뢰도
(정밀도, reliability, precision, reproducibility,
stability)

정확도가 높은 것은?
신뢰도가 높은 것은?
A
B





74

C
 


 




70
95
진단법의 정확도
(타당도, Validity, Accuracy)
정확도(validity)
 검사의 정확성: 질병이 있고 없고를 구분해내
는 능력
 민감도(sensitivity)와 특이도(specificity)
 민감도: 질병이 있는 사람을 질병이 있다고 판단
해내는 능력
 특이도: 질병이 없는 사람을 질병이 없다고 판단
해내는 능력
신뢰도 평가
 명목형, 순서형 척도
 카파 통계량(Kappa statistics), 스피어만의 상
관계수, 켄달계수, 스튜어트 계수
 연속형 척도
 피어슨의 상관계수(Pearson’s Correlation
coefficient)
Sensitivity & Specificity
Population
Test
Results
Positive
With
Disease
True +(a)
Without
Disease
False +(b)
Negative
False -(c)
True -(d)
Sensitivity = a / (a+c) = TP / (TP+FN)=TP rate
Specificity = d / (b+d)= TN / (FP+TN)=TN rate
Predictive value
Population
Test
Results
With
Disease
Without
Disease
Positive
True +(a)
False +(b)
+PV=a/(a+b)
=TP/(TP+FP)
Negative
False -(c)
True -(d)
-PV=d/(c+d)
=TN/(FN+TN)
Sensitivity = a / (a + c)
Specificity = d / (b + d)
Prevalence
Population
Test
Results
With
Disease
Without
Disease
Positive
True +(a)
False +(b)
+PV=a/(a+b)
Negative
False -(c)
True -(d)
-PV=d/(c+d)
Sensitivity = a / (a + c)
Specificity = d / (b + d)
P= a+c / (a+b+c+d)
Likelihood Ratios
Population
Test
Results
With
Disease
Without
Disease
Positive
True +(a)
False +(b)
Negative False -(c)
True -(d)
LR+ = Sen/(1-Spe)
=TP rate/FP rate
LR- = (1-Sen)/Spe
=FN rate/TN rate
예) 1,000명의 인구집단 (유병률 10%)
True characteristics in the pop.





Test Results
Disease
No Disease
Total
Positive
80
100
180
Negative
20
800
820
total
100
900
1,000
Sensitivity = a / (a + c)= 80 /100 = 80%
Specificity = d / (b + d) = 800/900 = 89%
+PV=a/(a+b) = 80/180= 44%, -PV=d/(c+d) = 800/820=98%
LR+= TP rate/FP rate = (80/100) / (100/900) = 7.2
LR-= FN rate/TN rate = (20/100) / (800/900) = 0.225
Sensitive test
 민감한 검사?
 질병이 있으면 거의 대부분 양성이 나오는 검사
 언제 중요?
 검사 결과가 음성일 때 가치가 있음.
 언제 사용?
 스크리닝 검사
 질병을 조기에 진단하지 못하고 놓쳤을 때 예후가 심각
하게 나빠지는 질병
 심각한 질환이나 치료방법이 있을 때
 예Tb, syphilis, Hodgkin’s disease, …
Specific test
 특이도가 높은 검사?
 질병이 없으면 양성결과가 거의 나오지 않는 검사
 언제 중요?
 검사 결과가 양성일 때 가치가 있음.
 언제 사용?
 확진 검사
 위양성이 환자에게 신체적으로, 정신적으로, 경제적으
로 크게 손해를 입히는 경우
 암수술 등의 치료를 시작하기 위해서는 조직검사를 시
행해야 함.
Trade-Offs between Sen. and Sp.
 진단검사 기준점(Cut-off point): between
normal and abnormal
 Too low cut-off: sensitivity specificity
 Too high cut-off: sensitivity specificity
Receiver Operating Characteristic
(ROC) curve.
Why ROC?
 World War II, radar images 분석을 위해 개
발된 “Signal Detection Theory”에서 시작
 Radar의 깜박거리는 물체가 아군인지, 적군
인지, 단순한 noise인지 구분해야 함
Radar receiver operators의 이러한 구분 능
력을 “Receiver Operating Characteristics”
라 부름
 1970’s 이후에 의학진단분야에 적용
Sensitivity and specificity for prostate specific antigen and prostate cancer
at various cutoff points, during 7 years of follow-up: Physicians’ Health
Study (203 cases and 609 controls). JAMA (1995) 273:292
Fasting glucose for diagnosing
diabetes mellitus (ng/dl)
The area under an ROC curve
 Accuracy





0.9-1.0
0.8-0.9
0.7-0.8
0.6-0.7
0.5-0.6
=
=
=
=
=
excellent (A)
good (B)
fair (C)
poor (D)
fail (F)
 Meaning
 Discrimination: 환자군과 대조군에서 각각 1명
씩 뽑아서 이들에게 검사를 시행하여 제대로 분
류할 확률
SPSS 활용 1
 자료 입력
 확진검사 결과
(환자/ 정상)
 검사결과는 한가지
또는 그 이상
SPSS 활용 2
 그래프ROC
곡선
 Graph ROC
curve
SPSS 활용 3
 상태변수 값:
환자 상태, 1
SPSS 활용 4
ROC 곡선
1.0
곡선의 소스
검사_1
검사_2
참조선
0.8
민감도
0.6
0.4
곡선 아 래 영역
0.2
근사 95% 신뢰구간
근사 유의
영역
표준 오차a
확률b
하한
상한
.947
.024
.000
.900
.994
.679
.053
.002
.574
.784
검정 결과 변수: 검사_1, 검사_2에는 양의 실제 상태 집단과 음의 실제 상태 집단
사이에 하나 이상의 동률이 있습니다. 통계량은 편향될 수 있습니다.
a. 비모수 가정 아래
b. 영가설: 실제 영역 = 0.5
검정 결과 변수
검사_1
검사_2
0.0
0.0
0.2
0.4
0.6
0.8
1.0
1 - 특이도
대각 세그먼트는 동률에 의해 생성됩니다.
MedCalc 1
MedCalc 4
MedCalc 6
Excel 활용 1
Excel 활용 2
Excel 활용 3
ROC curve by Excel
1.000
0.900
0.800
Sensitivity
0.700
0.600
0.500
0.400
0.300
0.200
0.100
0.000
0.000
0.200
0.400
0.600
1-Specificity
0.800
1.000
민감도, 특이도 관련요인 1.
1. Improper gold standard
 New test가 더 정확해도 기준보다 낮게 평가됨
2. Spectrum of Patients
 환자군의 질병수준: more severe ↑민감도
 정상군이 검사에 영향을 미치는 다른 질병 가짐.
: FP↑  특이도↓
예) CEA ↑ (Ulcerative colitis, cirrhosis)
민감도, 특이도 관련요인 2.
3. 유병률(Prevalence)
 이론적으로는 유병률과 독립적임
 실제: 낮은 유병률 검진 그룹의 환자들은 대
부분 earlier & less severe 상태
 민감도↓ 특이도 ↑
Breast Exam.(75000명)*
민감도
특이도
증상이 있는 그룹
85%
73%
증상이 없는 그룹
36%
96%
*Bobo et al. J Natl Cancer Inst 2000; 92:971-6.
민감도, 특이도 관련요인 3.
4. Bias
 검사자의 다른 정보를 알고 있는 경우
예)clinical impression을 알고 x-ray 판독을 하는
경우 정확도 증가
5. Chance
 Small sample size 95% CI을 확인해야 함
표본수별 95% CI: 민감도 75% 경우
N=10, 95% CI: 45%-100%
Predictive value
Population
Test
Results
Positive
Negative
With
Disease
True +(a)
False -(c)
Without
Disease
False +(b)
True -(d)
Bayes’ theorem of conditional probability
+PV=a/(a+b)
-PV=d/(c+d)
PV, 양성예측도
 지역사회에서 집단검진을 할 때:
 질병을 가진 사람이 얼마나 질병이 있다고 제
대로 확인될 것인가?(Sensitivity)
 임상의사가 환자를 볼 때:
 검사에서 양성으로 나왔을 때 이 환자가 진짜
로 병이 있을 확률이 얼마나 되는가? (positive
predictive value of the test)
예측도 관련요인
 유병률
 특이도
 민감도
Relationship of Disease
prevalence to Predictive Value
Sensitivity = 99%, specificity =95%
Disease
prevalence
Test
Results
Sick
Not Sick
Totals
1%
+
99
495
594
-
1
9405
9406
Totals
100
9900
10,000
+
495
475
970
-
5
9025
9303
Totals
500
9500
10,000
+
990
450
1,440
-
10
8,550
8,560
Totals
1,000
9,000
10,000
5%
10%
Predictive
Value
99/594=17%
495/970=51%
990/1,440=69%
Relationship between disease
prevalence and predictive value
(95% sensitivity
and 95% specificity).
민감도,
특이도
의 영향
정확도, 유병률, 양성예측도의 관계
이 의사의 판단은 옳은가?
 한 소방서의 담당의사가 최근에 저널을 읽
었다. 병원의 환자를 대상으로 검사해본 결
과 EKG결과의 예측도가 아주 높아서 증상
이 없어 인식하고 있지 못하던 심혈관 질환
을 미리 알 수 있다는 것이었다. 이 저널을
기초로 소방서의 의사는 소방서 직원의 검
진에서 많은 젊은 소방수들을 불합격 판정
하였다.
누구의 말이 옳은가?

한 의사가 정기검진을 받으러 그의 동내 주치의에게 갔다. 거기서 그는 대변의 잠혈반
응검사(stool occult blood test)를 받았다.

주치의는 3개의 stool specimen을 검사했는데 하나가 양성을 보였다. 주치의는 그의
의사환자에게 “이 결과는 별 의미가 없는 것입니다. 왜냐하면 저는 이런 경험을 많이 하
였는데 이 검사는 위양성이 상당히 높기 때문이지요”라고 하였다. 그리고 다시 검사하
였는데 이번에는 모두 음성이었다.

그런데 검사를 받은 의사는 아무래도 걱정이 되어 망설이고 있었다. 그래서 주치의는
종합병원의 위장질환전문의에게 이 환자를 의뢰하였다. 종합병원의 주치의는 검사결
과를 보고 “내 경험에 의하면 대변의 잠혈반응 양성은 아주 중요하고 심각한 결과입니다.
두번째 검사에서 음성으로 나온 것은 의미가 없습니다. 왜냐하면 암에 의한 bleeding은
간헐적으로 일어나기 때문이지요” 라고 하였다.
유병률을 증가시키는 요인
 Referral Process
 3차병원으로 갈수록 증가
 Selected Demographic Groups
 Atypical chest pain coronary artery
disease? 65세 남자가 30세 여자보다 15배 더
가능성
 Specifics of the Clinical Situation
 Symptoms, signs, risk factors, etc.
Multiple Tests
Two Serial testing
예) DM 유병률=5%, Pop. 10,000
Test 1
(Blood Sugar)
Sensitivity =70%,
Specificity = 80%
Diabetes
Test Results
+
-
Total
+
350
1900
2250
-
150
7600
7750
Total
500
9500
10,000
Test 2 (Glucose Tolerance Test)
Sen. =90%, Sp. = 90%
Diabetes
Test Results
+
-
+
315
190
-
35
1710
Total
350
1900
Net Sensitivity = 315 / 500 = 63%
Net Specificity = (7600+1710) /9500 = 98%
Total
2250
Likelihood Ratios
Population
Test
Results
With
Disease
Without
Disease
Positive
True +(a)
False +(b)
Negative False -(c)
True -(d)
LR+ = Sen/(1-Spe)
=TP rate/FP rate
LR- = (1-Sen)/Spe
=FN rate/TN rate
Likelihood Ratios
 LR+ 정의
 환자군에서 검사가 양성으로 나오는 것이 정상
군에서 양성으로 나오는 것의 몇배인가?
 (환자군에서 정상군보다 몇배나 더 많이 검사
양성이 나오는가?)
 4:1=80%, 7:2=7/9=78%
Hypothyroid에서 혈청Thyroxine분포
Rule of Thumb
Likelihood ratio
Approximate Change in
Disease Probability (%)
10
9
8
7
6
5
4
3
2
1
+ 45
+ 40
+35
+30
+25
+20
+15
No Change
감사합니다!