Transcript Prezentacja 2

Ocena wartości diagnostycznej testu –
obliczanie czułości, swoistości, wartości
predykcyjnych testu. Krzywe ROC.
ANNA MUECK
GRUPA A/B, OAM
Czułość diagnostyczna
 Czułość diagnostyczna określa zdolność testu do
wykrywania osób chorych.
 Jest to stosunek wyników prawdziwie dodatnich do
sumy wyników prawdziwie dodatnich i fałszywie
ujemnych (pomnożone przez 100%).
 Czułość 100% oznaczałaby, że wszystkie osoby chore
lub ogólnie z konkretnymi poszukiwanymi
zaburzeniami zostaną rozpoznane.
Czułość diagnostyczna = PD / (PD + FU)
 Przykład:
 Jeżeli wartość czułości diagnostycznej wynosi 70%,
oznacza to, że 70% pacjentów z daną jednostką
chorobową, przy pomocy danego testu będzie dobrze
sklasyfikowane. 30% natomiast, zostanie źle
sklasyfikowane. Im wyższa czułość testu, tym jest on
bardziej przydatny diagnostycznie. Idealny byłby test
o 100% czułości.
Swoistość diagnostyczna
 Swoistość diagnostyczna określa zdolność testu do
poprawnego wykluczenia choroby.
 Jest to stosunek wyników prawdziwie ujemnych do
sumy wyników prawdziwie ujemnych i fałszywie
dodatnich (pomnożone przez 100%).
 Swoistość 100% oznaczałaby, że wszyscy ludzie
zdrowi w wykonanym teście diagnostycznym zostaną
oznaczeni jako zdrowi. Test o wysokiej swoistości
posiada niski błąd drugiego typu.
Swoistość diagnostyczna = PU / (PU + FD)
 przykład:
 Jeżeli wartość swoistości diagnostycznej wynosi
40%, oznacza to, że 40% pacjentów zdrowych, przy
pomocy danego testu będzie dobrze sklasyfikowane.
60% natomiast, zostanie źle sklasyfikowane. Im
wyższa swoistość testu, tym jest on bardziej
przydatny diagnostycznie. Idealny byłby test
o 100% swoistości.
Inne parametry oceniające wartość diagnostyczną
testu
 Dodatnia wartość predykcyjna
 Ujemna wartość predykcyjna
Wartość predykcyjna dodatnia
 Wartość predykcyjna dodatnia (PPV) –
prawdopodobieństwo, że osobnik miał chorobę
mając pozytywny wynik testu. Jeśli więc badana
osoba otrzymała pozytywny wynik testu, to PPV daje
jej informację na ile może być pewna, że cierpi na
daną chorobę.
Dodatnia wartość predykcyjna = PD / (PD + FD)
Ujemna wartość predykcyjna
 Wartość predykcyjna ujemna (NPV) –
prawdopodobieństwo, że osobnik nie miał choroby
mając negatywny wynik testu. Jeśli więc badana
osoba otrzymała negatywny wynik testu, to NPV daje
jej informację na ile może być pewna, że nie cierpi na
daną chorobę.
Ujemna wartość predykcyjna = PU / (PU + FU)
Krzywe ROC
 krzywe ROC są często stosowaną metodą służącą do
opisania dokładności diagnostycznej testu. Służą one do
porównywania testów diagnostycznych, analizy czy dany
test jest efektywny w odróżnianiu różnych populacji, i
ustalania wartości odcięcia.
 Krzywe ROC opisują cały zakres pracy klasyfikatora i
pozwalają na miarodajne porównanie wyników z różnych
klasyfikatorów. Zaletą stosowania krzywych ROC jest też
ich niezależność od jednostek i skal stosowanych w
danym badaniu oraz możliwość stosowania do danych
skategoryzowanych (nie tylko binarnie).
FP: wyniki fałszywie dodatnie
FN: wyniki fałszywie ujemne
TP: wyniki prawdziwie dodatnie
TN: wyniki prawdziwie ujemne
Zdrowi
Chorzy
Diagram obrazujący centralną pozycję krzywych ROC w
oszacowaniu dokładności diagnostycznej
Krzywe ROC
 Potrzebny jest „złoty środek” aby dobrze




zaklasyfikować chorych i zdrowych
Liczba osób chorych i osób zdrowych powinna być
zbliżona
Zdrowi i chorzy powinni reprezentować populacje
dla której wykonuje się oznaczenia
Krzywa ROC jest to zależność pomiędzy czułością a
(1- swoistością)
Cel: ustalenie wartości decyzyjnej
Kryteria ustalenia wartości decyzyjnej
 Cel badania (przesiewowe, potwierdzające)
 „strata społeczna” – ile będzie kosztowało
zakwalifikowanie osoby do kategorii „zdrowy” lub
„chory”
 Częstość choroby w populacji
Bardzo istotne jest właściwe umieszczenie punktu
odcięcia na krzywej
 Przesunięci punktu odcięcia w prawo spowoduje
spadek czułości diagnostycznej ponieważ większa
część chorych zostanie zakwalifikowana jako zdrowi.
Natomiast wzrośnie swoistość ponieważ wszystkich
tych którzy są zdrowi zakwalifikujemy prawidłowo
czyli wykluczymy chorobę. Gdy wzrasta czułość to
spada swoistość i na odwrót.
 Analogiczna sytuacja zaistnieje gdy punkt odcięcia
zostanie przesunięty w lewo (wzrośnie czułość, a
spadnie swoistość).
 Wykres krzywej ROC (ang. Receiver Operating Curve) jest w praktyce
klinicznej narzędziem ułatwiającym wybór wartości progowej testu
diagnostycznego, dla którego uzyskujemy optymalne parametry czułości i
swoistości.
Krzywa to graficzne
przedstawienie
zależności pomiędzy
odsetkami wyników
testu prawdziwie
dodatnimi (czułość)
oraz odsetkami
wyników fałszywie
dodatnimi (1-swoistość).
Zwiększenie czułości testu wiąże się ze zmniejszeniem odsetka
wyników fałszywie ujemnych, ale jednocześnie ze zmniejszeniem
swoistości (zwiększeniem odsetka wyników fałszywie
dodatnich).
Zwiększenie swoistości testu wiąże się ze zmniejszeniem odsetka
wyników fałszywie dodatnich, ale jednocześnie ze zmniejszeniem
czułości (zwiększeniem odsetka wyników fałszywie ujemnych).
Optymalna wartość progowa wyniku testu (możliwie wysoka czułość
testu przy wysokiej swoistości), to w większości przypadków wartość
najbardziej zbliżona do lewego górnego rogu wykresu
(odpowiadającego 100% czułości i swoistości).
Pole powierzchni pod wykresem krzywej ROC – AUC (ang. Area Under
Curve), przyjmujące wartości w przedziale od 0 do 1, określa zdolność testu do
rozgraniczenia wyników prawidłowych i nieprawidłowych. Im większe jest AUC
(im bardziej wklęsła będzie funkcja ROC) tym większa jest moc diagnostyczna
testu. Tym samym zdolność rozdzielcza testu jest lepsza.
Większość testów w diagnostyce
reprezentuje moc diagnostyczną
wyrażająca się wielkościami AUC
pomiędzy 0,80 a 0,95.
AUC
 Do uzyskania zwartej informacji o skuteczności klasyfikacji
można użyć AUC (Area Under Curve), czyli pole
powierzchni pod krzywą ROC. Pole powierzchni pod krzywą
ROC to prawdopodobieństwo, że klasyfikator nada wyższą
rangę losowo wybranemu przypadkowi z odpowiedniej
grupy, a nie losowo wybranemu przypadkowi z grupy, w
której wiadomo że szukane dane nie występują. W AUC
zawarty jest opis precyzji detekcji w całym zakresie pracy
systemu. Wartość AUC równą 0.5 można opisać jako
działanie losowe, a wartość równa 1.0 to wskaźnik idealny.
Oznacza to, że krzywa przechodząca bliżej górnego lewego
rogu obrazuje większą dokładność diagnostyczną.
Często stosowany opis jakości testów diagnostycznych jest
wzorowany na amerykańskim systemie edukacji i może być
opisany w następujący sposób:
· 0.9-1.0 = bardzo dobry
· 0.8-0.9 = dobry
· 0.7-0.8 = satysfakcjonujący
· 0.6-0.7 = średni
· 0.5-0.6 = niedostateczny
Obliczenie AUC wykonywane jest
przed programy komputerowe. Pole
powierzchni obliczane jest
najczęściej według dwóch metod:
- Metoda nie parametryczna (ang.
non-parametric) oparta jest na
konstruowaniu
trapezoidów pod krzywą w celu
oszacowania pola powierzchni pod
wykresem.
- Metoda parametryczna oparta jest na
zasadzie określania maksymalnego
prawdopodobieństwa (ang. maximum
likelyhood estymator) aby dopasować linie
ciągłą do
wykresu danych.
Przykładowe krzywe ROC dla przypadku idealnego, testu
rzeczywistego i dla przypadkowej selekcji na obecność patologii,
zupełnie niezdeterminowanej informacją użyteczną.
Wpływ częstości choroby na wartość diagnostyczną
testu
 Prevalance (częstość) – proporcja ludzi z chorobą w
danej populacji, w szczególnym momencie czasu
 Incidence (nowe przypadki) – liczba nowych
przypadków choroby pojawiających się w danym
okresie czasu (n/1000/rok)
Odds ratio i likelihood ratio
 Odds ratio (iloraz prawdopodobieństwa) –
prawdopodobieństwo obecności danej choroby
podzielone przez prawdopodobieństwo jej
nieobecności
 Likelihood ratio (iloraz wiarygodności) –
prawdopodobieństwo pojawienia się danego wyniku
(gdy choroba jest obecna) podzielone przez
prawdopodobieństwo tego samego wyniku gdy nie
ma choroby
Dziękuję za uwagę 