Transcript Ocena wartości diagnostycznej testu – obliczanie czułości

Ocena wartości
diagnostycznej testu
– obliczanie czułości,
swoistości, wartości
predykcyjnych testu.
Krzywe ROC.
Anna Sepioło
gr. B III OAM
Opracowanie zakresu wartości
referencyjnych




Dobranie grupy kontrolnej reprezentatywnej dla
danej populacji
Badanie próbek referencyjnych – otrzymujemy
wartości referencyjne
Opracowanie statystyczne wyników
Obliczanie górnej i dolnej wartości referencyjnej
– wyznaczenie przedziału referencyjnego
zawierającego zwykle 95% wartości
referencyjnych
Zbiór wartości prawidłowych cechuje rozproszenie
(dyspersja). Ponieważ przy przejściu od stanu
zdrowia do stanu choroby najczęściej obserwuje się
stopniowe zmiany wartości prawidłowych do
nieprawidłowych
rozgraniczenie
wartości
mierzonych na właściwe dla grupy chorych i grupy
zdrowych musi mieć charakter umowny.
Zdrowi
Chorzy



Wartość graniczna (wartość odcięcia) –
kryterium rozdzielające wyniki prawidłowe od
wyników uznanych za nieprawidłowe
Zawsze pewna ilość osób zdrowych będzie
mieć wartości mierzonego parametru poza
wartością graniczną
W grupie osób chorych pewna ilość
badanych będzie mieć wartości mierzone
poniżej wartości granicznej, a więc
mieszczące się w zakresie referencyjnym
TP=PD – wyniki
prawdziwie
dodadnie
TN=PU – wyniki
prawdziwie
ujemne
FP=FD – wyniki
fałszywie
dodatnie
FN=FU – wyniki
fałszywie ujemne
Zdrowi
Chorzy
Podstawowe parametry testu
diagnostycznego
Czułość
 Specyficzność
 Wartości predykcyjne

Czułość diagnostyczna



Stosunek wyników prawdziwie dodatnich do
sumy prawdziwie dodatnich i fałszywie ujemnych
Określa zdolność testu do wykrywania osób
chorych
Odnosi się tylko do populacji osób chorych
PD
100 %
czułość 
PD  FU
Swoistość diagnostyczna



Stosunek wyników prawdziwie ujemnych do
sumy prawdziwie ujemnych i fałszywie dodatnich
Określa zdolność testu do wykrywania osób
zdrowych (poprawnego wykluczenia choroby)
Odnosi się tylko do populacji osób zdrowych
PU
100 %
swoistość 
PU  FD
Wartość predykcyjna dodatnia PPV


Stosunek wyników prawdziwie dodatnich do
sumy wyników prawdziwie dodatnich i fałszywie
dodatnich (wszystkich wyników dodatnich)
Proporcja osób rzeczywiście chorych wśród
osób z dodatnim wynikiem testu
wartość
PD
 100 %
predykcyjna 
PD  FD
dodatnia
Wartość predykcyjna dodatnia PPV
 Prawdopodobieństwo,
że osobnik
miał chorobę mając pozytywny wynik
testu
 Jeśli więc badana osoba otrzymała
pozytywny wynik testu, to PPV daje
jej informację na ile może być pewna,
że cierpi na daną chorobę
Wartość predykcyjna ujemna NPV


Stosunek wyników prawdziwie ujemnych do
sumy wyników prawdziwie ujemnych i fałszywie
ujemnych (wszystkich wyników ujemnych)
Proporcja osób zdrowych wśród osób z
ujemnym wynikiem testu
wartość
PU
100 %
predykcyjna 
PU

FU
ujemna
Wartość predykcyjna ujemna NPV
 Prawdopodobieństwo,
że osobnik nie
miał choroby mając negatywny wynik
testu
 Jeśli więc badana osoba otrzymała
negatywny wynik testu, to NPV daje
jej informację na ile może być pewna,
że nie cierpi na daną chorobę
Wiarygodność testu


Stopień, w jakim wyniki badania odzwierciedlają
rzeczywistość
Odsetek pacjentów prawidłowo zakwalifikowanych
jako zdrowi lub jako chorzy
PD  PU
100 %
wiarygodność 
PD  PU  FD  FU
Kryteria ustalania wartości
decyzyjnej
Cel badania (przesiewowe,
potwierdzające)
 „strata społeczna”
 Częstość choroby w populacji


Przesunięcie punktu odcięcia w lewo
Zdrowi
↑ czułość
Chorzy
↓ swoistość
Kiedy zależy nam na wykryciu wszystkich
osób chorych, np. badania przesiewowe
(np. wykrywanie fenyloketonurii).

Przesunięcie punktu odcięcia w prawo
Zdrowi
↓ czułość
Chorzy
↑ swoistość
Kiedy zależy nam na wykluczeniu
wszystkich osób zdrowych, np. jeśli trzeba
zdecydować o bardzo inwazyjnym
leczeniu.
Krzywe ROC
Potrzebny jest „złoty środek” aby dobrze
zaklasyfikować chorych i zdrowych
 Powinna być zbliżona liczba chorych i
zdrowych
 Zdrowi i chorzy powinni reprezentować
populację, dla której wykonuje się
oznaczenia

Krzywe ROC
ang. Receiver Operating Characteristic –
krzywa charakterystyki operatora
odbiornika
 Zależność pomiędzy czułością a
(1-swoistością)
 Cel: ustalenie wartości decyzyjnej
określonej przez konkretny punkt decyzyjny
lub powierzchnię pod krzywą

Dla każdego z możliwych punktów odcięcia
obliczamy czułość i specyficzność, a następnie
zaznaczamy otrzymane wyniki na wykresie.
Zaznaczamy je w układzie współrzędnych, gdzie
na osi odciętych jest (1-swoistość), a na osi
rzędnych czułość.
Zdrowi
Chorzy
Optymalnym punktem odcięcia jest punkt
krzywej ROC znajdujący się najbliżej
punktu o współrzędnych (0,1). Punkt o
współrzędnych (0,1) to punkt o czułości
równej 1 i swoistości równej 1.
Idealny kształt krzywej ROC
Zdrowi
Chorzy
Najgorszy kształt krzywej ROC
Zdrowi
Chorzy
Pole pod krzywą (AUC)
Bardzo popularnym podejściem jest wyliczanie pola
pod wykresem krzywej ROC, oznaczanego jako AUC
(area under curve). Jest to wskaźnik mocy
diagnostycznej testu. Wartość wskaźnika AUC
przyjmuje wartości z przedziału [0,1]; im większa, tym
lepszy model. Większość testów używanych w
diagnostyce reprezentuje moc diagnostyczną
wyrażającą się wielkościami AUC pomiędzy 0,8 i
0,95.
AUC
Wartość predykcyjna jest intuicyjnym
wskaźnikiem wykonania testu, ale zależy
od częstości występowania choroby.
 Częstość występowania choroby w
populacji stosuje się, aby uzmysłowić, że
test nie będzie taki sam po zastosowaniu
w rzeczywistej sytuacji klinicznej.

Wpływ częstości choroby na
wartość diagnostyczną testu
Prevalence (częstość) – proporcja ludzi z
chorobą w danej populacji w szczególnym
momencie czasu.
 Incidence (nowe przypadki) – liczba
nowych przypadków choroby
pojawiających się w danym okresie czasu
(n/1000/rok).

Odds ratio (iloraz prawdopodobieństwa) –
prawdopodobieństwo obecności danej
choroby podzielone przez
prawdopodobieństwo jej nieobecności.
 Likehood ratio (iloraz wiarygodności) –
prawdopodobieństwo pojawienia się
danego wyniku (gdy choroba jest obecna)
podzielone przez prawdopodobieństwo
tego samego wyniku gdy nie ma choroby.

Dziękuję za uwagę 