Transcript Dijagnostička točnost
Slide 1
• posao / bolnica / laboratorij ?
• prethodno iskustvo i poznavanje dijagnostičke točnosti?
• znanstveni rad / magisterij / doktorat ? TEMA ?
Slide 2
LITERATURA
• Raslich MA, Markert RJ, Stutes SA. Odabir i tumačenje
dijagnostičkih pretraga / Selecting and interpreting
diagnostic tests. Biochemia Medica 2007;17(2):151-61
• Šimundić AM. Dijagnostička točnost. Acta med Croat.
2006;60(Suppl 1):93-111
• Bossuyt PM et al. The STARD Statement for Reporting
Studies of Diagnostic Accuracy: Explanation and
Elaboration. Clin Chem 2003;49:1-18
studij "Molekularne bioznanosti", kolegij "Počela biostatistike“, Zagreb, 8.11. 2008
Slide 3
Dijagnostička točnost
Ana-Maria Šimundić
Klinički zavod za kemiju
Odjel za molekularnu dijagnostiku
Klinička bolnica SESTRE MILOSRDNICE
Slide 4
fx
zdravi
bolesni
X
Slide 5
U PRAKSI ...
fx
SN
SP
bolesni
zdravi
X
LN
zdravi = SN + LP
LP
bolesni = LN + SP
Slide 6
DIJAGNOSTIČKA TOČNOST ?
Kako dobro test razlikuje zdrave i bolesne ?
MJERE ?
osjetljivost
specifičnost
prediktivne vrijednosti (PPV, NPV)
omjeri vjerojatnosti (LR+ i LR-)
dijagnostička točnost
AUC
Youdenov index
DOR
Slide 7
2 x 2 TABLICA
bolesni zdravi
+ test
- test
SP
LN
LP
SN
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 8
OSJETLJIVOST
bolesni zdravi
Se = 45 / 52 = 87 %
Pr (T+|B+)
+ test
- test
45
7
1
60
Σ
52
61
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 9
SPECIFIČNOST
bolesni zdravi
Sp = 60 / 61 = 98 %
Pr (T -|B -)
+ test
- test
45
7
1
60
Σ
52
61
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 10
OSJETLJIVOST ~ SPECIFIČNOST
fx
SN
zdravi
SP
bolesni
SpPIn
SnNOut
X
LN
LP
granična
vrijednost
osjetljivost
specifičnost
1,0
98 %
39 %
1,5
88 %
96 %
2,0
50 %
100 %
Slide 11
POZITIVNA PREDIKTIVNA VRIJEDNOST
bolesni zdravi
PPV = 45 / 46 = 98 %
Pr (B+|T+)
+ test
- test
45
7
1
60
Σ
52
61
46
67
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 12
NEGATIVNA PREDIKTIVNA VRIJEDNOST
bolesni zdravi
NPV = 60 / 67 = 90 %
Pr (B -|T -)
+ test
- test
45
7
1
60
Σ
52
61
46
67
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 13
PREVALENCIJA NE UTJEČE NA
OSJETLJIVOST I SPECIFIČNOST
prevalencija 46 %
prevalencija 7,8 %
bolesni zdravi
bolesni zdravi
+ test
- test
45
7
1
60
+ test
- test
45
7
10
600
Σ
52
61
Σ
52
610
Se = 45 / 52 = 87 %
Sp = 60 / 61 = 98 %
Se = 45 / 52 = 87 %
Sp = 600 / 610 = 98 %
Slide 14
PREVALENCIJA UTJEČE NA PREDIKTIVNE
VRIJEDNOSTI
prevalencija 46 %
prevalencija 7,8 %
bolesni zdravi
bolesni zdravi
+ test
- test
45
7
1
60
+ test
- test
45
7
10
600
Σ
52
61
Σ
52
610
PPV = 45 / 46 = 98 %
NPV = 60 / 67 = 90 %
PREVALENCIJA
PPV = 45 / 55 = 82 %
NPV = 600 / 607 = 99 %
PPV
NPV
Slide 15
ROC ANALIZA
• primarni cilj: razlikovati fiziološko stanje od
bolesti
• naziv: Reciever Operating Characteristic analysis
• “Signal detection theory”
• signal-to-noise
• osobina rada prijamnika
• hematologija, radiologija
Slide 16
ROC KRIVULJA
Površina ispod krivulje
(AUC)
0,9–1,0 izvrsna
0,8-0,9 vrlo dobra
0,7-0,8 dobra
0,6-0,7 dovoljna
0,5-0,6 loša
< 0,5 nedovoljna
osjetljivost
stvarno pozitivni →
1
0,5
• izvrsna
• dobra
• beskorisna
0
0
lažno pozitivni →
0,5
površina → postotak
slučajno odabranih
parova koji su
ispravno klasificirani
1
1- specifičnost
Slide 17
OPTIMALNA GRANIČNA VRIJEDNOST
osjetljivost
1
0,5
• izvrsna
• dobra
• beskorisna
0
1- specifičnost
0
0,5
1
• tangenta u točki najbližoj gornjem lijevom kutu
• točka u kojoj je Σ (specifičnost+osjetljivost) najveća
Slide 18
KAKO RAČUNATI POKAZATELJE
DIJAGNOSTIČKE TOČNOSTI?
• uz pomoć gotovih tablica dostupnih na internetu
http://www.mhri.edu.au/biostats/DAG_Stat/
• u nekom statističkom programu
Medcalc (u sklopu ROC analize)
• ručno
Slide 19
DAG_Stat tablica
Slide 20
IZVJEŠTAJ ROC ANALIZE U MedCalc-u
Slide 21
IZVJEŠTAJ - nastavak
Slide 22
IZVJEŠTAJ - nastavak
Slide 23
Dijagnostički omjer izgleda
(diagnostic odds ratio, DOR)
odds (izgled, rizik, šansa)
odds ratio (omjer izgleda)
diagnostic odds ratio
(dijagnostički omjer izgleda)
Slide 24
ODDS – izgledi
? vjerojatnost
1/6 = 0,16 =16%
? izgledi (šanse)
1:5
Slide 25
ODDS – izgledi
lice
naličje
? vjerojatnost
1/2 = 0,50 = 50%
? izgledi (šanse)
1:1
Slide 26
ODDS RATIO (omjer izgleda)
9:1
? gen za migrenu
1:9
mutirani alel
odds ratio =
divlji tip
9/1
1/9
= 81
OR omjer izgleda (šansi) za izvjesni događaj u jednoj skupini i
izgleda za taj isti događaj u drugoj skupini
Slide 27
DIAGNOSTIC ODDS RATIO (DOR)
Slide 28
DIAGNOSTIC ODDS RATIO (DOR)
DOR =
dijagnoza u bolesnika
dijagnoza u zdrave osobe
bolesni zdravi
+ test
- test
45
7
1
60
Σ
52
61
DOR =
TP / FN
FP / TN
Slide 29
0.99
0.95
0.80
0.50
Glas AS et al. J Clin Epidemiol 2003;56(11):1129-35.
Slide 30
DIJAGNOSTIČKA TOČNOST/EFIKASNOST
Dijagnostička točnost =
TP + TN
TP + FN+ TN + FP
engl. Diagnostic accuracy, efficacy
Slide 31
YOUDENOV INDEX
Youden WJ. Index for rating diagnostic tests. Cancer. 1950;3:32-35.
Youdenov index (J) = Se + Sp - 1
rezultat testa je obrnuto
proporcionalno povezan s
dijagnozom
-1
0
1
test nema
vrijednost
savršeni test
Slide 32
LR+ … omjer vjerojatnosti da će nalaz biti
pozitivan
LR
Pr( T | B )
Pr( T | B )
koliko puta je vjerojatnije da će se pozitivan
rezultat testa pojaviti u bolesnika nego u zdravog
ispitanika
najbolji pokazatelj za prihvaćanje dijagnoze (rule-in) !
Slide 33
LR+ omjer vjerojatnosti pozitivnog nalaza
bolesni zdravi
+ test
- test
45
7
1
60
Σ
52
61
46
67
LR
Pr( T | B )
Pr( T | B )
bolesni zdravi
+ test
- test
87%
13%
Σ
52
2% 46
98% 67
61
LR+ = 87 / 2 = 43,5
Slide 34
LR - … omjer vjerojatnosti da će nalaz biti
negativan
LR
Pr( T | B )
Pr( T | B )
koliko je puta manje vjerojatan negativan rezultat
testa u bolesnika nego u zdravog ispitanika
najbolji pokazatelj za odbacivanje dijagnoze (rule-out) !
Slide 35
LR- omjer vjerojatnosti negativnog nalaza
bolesni zdravi
+ test
- test
45
7
1
60
Σ
52
61
46
67
LR
Pr( T | B )
Pr( T | B )
bolesni zdravi
+ test
- test
87%
13%
Σ
52
2% 46
98% 67
61
LR- = 13 / 98 = 0,13
Slide 36
KAKO LIJEČNIK POSTAVLJA DIJAGNOZU ?
Anamneza i pregled
određuju
vjerojatnost prije testa
(Pre Test Probability)
usmjerava
Dijagnostički test
vjerojatnost poslije testa
(Post Test Probability)
Slide 37
OMJER VJEROJATNOSTI (likelihood ratio, LR)
direktna veza između vjerojatnosti prije
testa i vjerojatnosti poslije testa
vjerojatnost prije testa
pre-test odds x LR
dijagnostički test
vjerojatnost poslije testa
post-test odds
Slide 38
Zdravko Trčković
bol u prsištu, sijeva u lijevu ruku
42 godine
redovito trči 5 km dnevno
ne puši
pije čašu crnog vina dnevno
u obitelji nema CAD
kolesterol, HDL, LDL
GUK
N
N
CK-MB, cTn-I ?
akutni infarkt miokarda ?
10 %
Slide 39
Sjedeljko Debeljković
bol u prsištu, sijeva u lijevu ruku
67 godina
umirovljeni bankovni službenik, voli gledati televiziju
puši
170 cm visok, 120 kg
otac i stric umrli s 50 godina od AMI
kolesterol, HDL, LDL
GUK
CK-MB, cTn-I ?
akutni infarkt miokarda ?
80 %
Slide 40
osjetljivost
specifičnost
LR +
LR -
cTn-I
99.0
90.6
10.6
0.005
CK-MB
88.2
93.2
13.0
0.1
Slide 41
LR+
10 %
98 %
50 %
80 %
Slide 42
LRcTn-I
10 %
80 %
2%
~0%
Slide 43
LRCK-MB
10 %
30 %
80 %
1%
Slide 44
Jesu li tumorski biljezi pogodni za
pretraživanje asimptomatskih osoba?
Primjer:
pretražujemo skupinu asimptomatskih osoba (N= 10 000 );
prevalencija Ca kolona 1%;
dijagnostička točnost CEA za Ca kolona:
Se = 70%
Sp = 95%
LP ? LN ?
Ca kolona
zdravi
+ test
- test
70
30
495
9405
Σ
100
9900
Slide 45
Zadatak: OKULTNO KRVARENJE
Vaš susjed je napravio test za okultno krvarenje i nalaz je
pozitivan. Pita vas: IMAM LI RAK?
Poznata vam je prevalencija Ca kolona 0,3 %.
Se = 50%
LP = 3 %
Ca kolona
zdravi
+ test
- test
15
15
299
9671
Σ
30
9970
PPV
314
5%
1% - 99% !!! čak ½ je odgovorila 50% !!! Gigerenzer G. BMJ 2003;327:741-744
Slide 46
PRETRAŽIVANJE ASIMPTOMATSKIH OSOBA
korak: KORISTITI OSJETLJIV TEST
svi bolesni će biti pozitivni
imati ćemo dosta LP
glavna svrha je RULE OUT (isključiti zdrave)
SnNOut
korak: KORISTITI SPECIFIČAN TEST
testiramo sve TP + FP
imati ćemo puno TN i vrlo malo FP
svi koji imaju pozitivan test su bolesni
SpPIn
Slide 47
• posao / bolnica / laboratorij ?
• prethodno iskustvo i poznavanje dijagnostičke točnosti?
• znanstveni rad / magisterij / doktorat ? TEMA ?
Slide 2
LITERATURA
• Raslich MA, Markert RJ, Stutes SA. Odabir i tumačenje
dijagnostičkih pretraga / Selecting and interpreting
diagnostic tests. Biochemia Medica 2007;17(2):151-61
• Šimundić AM. Dijagnostička točnost. Acta med Croat.
2006;60(Suppl 1):93-111
• Bossuyt PM et al. The STARD Statement for Reporting
Studies of Diagnostic Accuracy: Explanation and
Elaboration. Clin Chem 2003;49:1-18
studij "Molekularne bioznanosti", kolegij "Počela biostatistike“, Zagreb, 8.11. 2008
Slide 3
Dijagnostička točnost
Ana-Maria Šimundić
Klinički zavod za kemiju
Odjel za molekularnu dijagnostiku
Klinička bolnica SESTRE MILOSRDNICE
Slide 4
fx
zdravi
bolesni
X
Slide 5
U PRAKSI ...
fx
SN
SP
bolesni
zdravi
X
LN
zdravi = SN + LP
LP
bolesni = LN + SP
Slide 6
DIJAGNOSTIČKA TOČNOST ?
Kako dobro test razlikuje zdrave i bolesne ?
MJERE ?
osjetljivost
specifičnost
prediktivne vrijednosti (PPV, NPV)
omjeri vjerojatnosti (LR+ i LR-)
dijagnostička točnost
AUC
Youdenov index
DOR
Slide 7
2 x 2 TABLICA
bolesni zdravi
+ test
- test
SP
LN
LP
SN
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 8
OSJETLJIVOST
bolesni zdravi
Se = 45 / 52 = 87 %
Pr (T+|B+)
+ test
- test
45
7
1
60
Σ
52
61
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 9
SPECIFIČNOST
bolesni zdravi
Sp = 60 / 61 = 98 %
Pr (T -|B -)
+ test
- test
45
7
1
60
Σ
52
61
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 10
OSJETLJIVOST ~ SPECIFIČNOST
fx
SN
zdravi
SP
bolesni
SpPIn
SnNOut
X
LN
LP
granična
vrijednost
osjetljivost
specifičnost
1,0
98 %
39 %
1,5
88 %
96 %
2,0
50 %
100 %
Slide 11
POZITIVNA PREDIKTIVNA VRIJEDNOST
bolesni zdravi
PPV = 45 / 46 = 98 %
Pr (B+|T+)
+ test
- test
45
7
1
60
Σ
52
61
46
67
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 12
NEGATIVNA PREDIKTIVNA VRIJEDNOST
bolesni zdravi
NPV = 60 / 67 = 90 %
Pr (B -|T -)
+ test
- test
45
7
1
60
Σ
52
61
46
67
fx
SN
zdravi
SP
bolesni
X
LN
LP
Slide 13
PREVALENCIJA NE UTJEČE NA
OSJETLJIVOST I SPECIFIČNOST
prevalencija 46 %
prevalencija 7,8 %
bolesni zdravi
bolesni zdravi
+ test
- test
45
7
1
60
+ test
- test
45
7
10
600
Σ
52
61
Σ
52
610
Se = 45 / 52 = 87 %
Sp = 60 / 61 = 98 %
Se = 45 / 52 = 87 %
Sp = 600 / 610 = 98 %
Slide 14
PREVALENCIJA UTJEČE NA PREDIKTIVNE
VRIJEDNOSTI
prevalencija 46 %
prevalencija 7,8 %
bolesni zdravi
bolesni zdravi
+ test
- test
45
7
1
60
+ test
- test
45
7
10
600
Σ
52
61
Σ
52
610
PPV = 45 / 46 = 98 %
NPV = 60 / 67 = 90 %
PREVALENCIJA
PPV = 45 / 55 = 82 %
NPV = 600 / 607 = 99 %
PPV
NPV
Slide 15
ROC ANALIZA
• primarni cilj: razlikovati fiziološko stanje od
bolesti
• naziv: Reciever Operating Characteristic analysis
• “Signal detection theory”
• signal-to-noise
• osobina rada prijamnika
• hematologija, radiologija
Slide 16
ROC KRIVULJA
Površina ispod krivulje
(AUC)
0,9–1,0 izvrsna
0,8-0,9 vrlo dobra
0,7-0,8 dobra
0,6-0,7 dovoljna
0,5-0,6 loša
< 0,5 nedovoljna
osjetljivost
stvarno pozitivni →
1
0,5
• izvrsna
• dobra
• beskorisna
0
0
lažno pozitivni →
0,5
površina → postotak
slučajno odabranih
parova koji su
ispravno klasificirani
1
1- specifičnost
Slide 17
OPTIMALNA GRANIČNA VRIJEDNOST
osjetljivost
1
0,5
• izvrsna
• dobra
• beskorisna
0
1- specifičnost
0
0,5
1
• tangenta u točki najbližoj gornjem lijevom kutu
• točka u kojoj je Σ (specifičnost+osjetljivost) najveća
Slide 18
KAKO RAČUNATI POKAZATELJE
DIJAGNOSTIČKE TOČNOSTI?
• uz pomoć gotovih tablica dostupnih na internetu
http://www.mhri.edu.au/biostats/DAG_Stat/
• u nekom statističkom programu
Medcalc (u sklopu ROC analize)
• ručno
Slide 19
DAG_Stat tablica
Slide 20
IZVJEŠTAJ ROC ANALIZE U MedCalc-u
Slide 21
IZVJEŠTAJ - nastavak
Slide 22
IZVJEŠTAJ - nastavak
Slide 23
Dijagnostički omjer izgleda
(diagnostic odds ratio, DOR)
odds (izgled, rizik, šansa)
odds ratio (omjer izgleda)
diagnostic odds ratio
(dijagnostički omjer izgleda)
Slide 24
ODDS – izgledi
? vjerojatnost
1/6 = 0,16 =16%
? izgledi (šanse)
1:5
Slide 25
ODDS – izgledi
lice
naličje
? vjerojatnost
1/2 = 0,50 = 50%
? izgledi (šanse)
1:1
Slide 26
ODDS RATIO (omjer izgleda)
9:1
? gen za migrenu
1:9
mutirani alel
odds ratio =
divlji tip
9/1
1/9
= 81
OR omjer izgleda (šansi) za izvjesni događaj u jednoj skupini i
izgleda za taj isti događaj u drugoj skupini
Slide 27
DIAGNOSTIC ODDS RATIO (DOR)
Slide 28
DIAGNOSTIC ODDS RATIO (DOR)
DOR =
dijagnoza u bolesnika
dijagnoza u zdrave osobe
bolesni zdravi
+ test
- test
45
7
1
60
Σ
52
61
DOR =
TP / FN
FP / TN
Slide 29
0.99
0.95
0.80
0.50
Glas AS et al. J Clin Epidemiol 2003;56(11):1129-35.
Slide 30
DIJAGNOSTIČKA TOČNOST/EFIKASNOST
Dijagnostička točnost =
TP + TN
TP + FN+ TN + FP
engl. Diagnostic accuracy, efficacy
Slide 31
YOUDENOV INDEX
Youden WJ. Index for rating diagnostic tests. Cancer. 1950;3:32-35.
Youdenov index (J) = Se + Sp - 1
rezultat testa je obrnuto
proporcionalno povezan s
dijagnozom
-1
0
1
test nema
vrijednost
savršeni test
Slide 32
LR+ … omjer vjerojatnosti da će nalaz biti
pozitivan
LR
Pr( T | B )
Pr( T | B )
koliko puta je vjerojatnije da će se pozitivan
rezultat testa pojaviti u bolesnika nego u zdravog
ispitanika
najbolji pokazatelj za prihvaćanje dijagnoze (rule-in) !
Slide 33
LR+ omjer vjerojatnosti pozitivnog nalaza
bolesni zdravi
+ test
- test
45
7
1
60
Σ
52
61
46
67
LR
Pr( T | B )
Pr( T | B )
bolesni zdravi
+ test
- test
87%
13%
Σ
52
2% 46
98% 67
61
LR+ = 87 / 2 = 43,5
Slide 34
LR - … omjer vjerojatnosti da će nalaz biti
negativan
LR
Pr( T | B )
Pr( T | B )
koliko je puta manje vjerojatan negativan rezultat
testa u bolesnika nego u zdravog ispitanika
najbolji pokazatelj za odbacivanje dijagnoze (rule-out) !
Slide 35
LR- omjer vjerojatnosti negativnog nalaza
bolesni zdravi
+ test
- test
45
7
1
60
Σ
52
61
46
67
LR
Pr( T | B )
Pr( T | B )
bolesni zdravi
+ test
- test
87%
13%
Σ
52
2% 46
98% 67
61
LR- = 13 / 98 = 0,13
Slide 36
KAKO LIJEČNIK POSTAVLJA DIJAGNOZU ?
Anamneza i pregled
određuju
vjerojatnost prije testa
(Pre Test Probability)
usmjerava
Dijagnostički test
vjerojatnost poslije testa
(Post Test Probability)
Slide 37
OMJER VJEROJATNOSTI (likelihood ratio, LR)
direktna veza između vjerojatnosti prije
testa i vjerojatnosti poslije testa
vjerojatnost prije testa
pre-test odds x LR
dijagnostički test
vjerojatnost poslije testa
post-test odds
Slide 38
Zdravko Trčković
bol u prsištu, sijeva u lijevu ruku
42 godine
redovito trči 5 km dnevno
ne puši
pije čašu crnog vina dnevno
u obitelji nema CAD
kolesterol, HDL, LDL
GUK
N
N
CK-MB, cTn-I ?
akutni infarkt miokarda ?
10 %
Slide 39
Sjedeljko Debeljković
bol u prsištu, sijeva u lijevu ruku
67 godina
umirovljeni bankovni službenik, voli gledati televiziju
puši
170 cm visok, 120 kg
otac i stric umrli s 50 godina od AMI
kolesterol, HDL, LDL
GUK
CK-MB, cTn-I ?
akutni infarkt miokarda ?
80 %
Slide 40
osjetljivost
specifičnost
LR +
LR -
cTn-I
99.0
90.6
10.6
0.005
CK-MB
88.2
93.2
13.0
0.1
Slide 41
LR+
10 %
98 %
50 %
80 %
Slide 42
LRcTn-I
10 %
80 %
2%
~0%
Slide 43
LRCK-MB
10 %
30 %
80 %
1%
Slide 44
Jesu li tumorski biljezi pogodni za
pretraživanje asimptomatskih osoba?
Primjer:
pretražujemo skupinu asimptomatskih osoba (N= 10 000 );
prevalencija Ca kolona 1%;
dijagnostička točnost CEA za Ca kolona:
Se = 70%
Sp = 95%
LP ? LN ?
Ca kolona
zdravi
+ test
- test
70
30
495
9405
Σ
100
9900
Slide 45
Zadatak: OKULTNO KRVARENJE
Vaš susjed je napravio test za okultno krvarenje i nalaz je
pozitivan. Pita vas: IMAM LI RAK?
Poznata vam je prevalencija Ca kolona 0,3 %.
Se = 50%
LP = 3 %
Ca kolona
zdravi
+ test
- test
15
15
299
9671
Σ
30
9970
PPV
314
5%
1% - 99% !!! čak ½ je odgovorila 50% !!! Gigerenzer G. BMJ 2003;327:741-744
Slide 46
PRETRAŽIVANJE ASIMPTOMATSKIH OSOBA
korak: KORISTITI OSJETLJIV TEST
svi bolesni će biti pozitivni
imati ćemo dosta LP
glavna svrha je RULE OUT (isključiti zdrave)
SnNOut
korak: KORISTITI SPECIFIČAN TEST
testiramo sve TP + FP
imati ćemo puno TN i vrlo malo FP
svi koji imaju pozitivan test su bolesni
SpPIn
Slide 47