Transcript Prezentacja 1

Agnieszka Buda
III rok OAM
Test diagnostyczny
Testem diagnostycznym posługujemy się, by odróżnić
obiekty z daną cechą - oznaczone jako (+), np. osoby
chore od obiektów bez danej cechy oznaczone jako (–),
np. osoby zdrowe. Aby test diagnostyczny mógł być
uznany za wartościowy, powinien dawać stosunkowo
niewielką liczbę błędnych klasyfikacji.
Wyniki prawdziwie dodatnie i prawdziwie
ujemne, fałszywie dodatnie i fałszywie ujemne
Załóżmy, że przy pomocy testu diagnostycznego badamy
występowanie danej cechy (najczęściej choroby) i znamy
rzeczywistość (tzw. gold-standard) czyli wiemy, czy ta
cecha rzeczywiście występuje u badanych osób. Na
podstawie tych informacji możemy zbudować tabelę
kontyngencji 2 × 2
Wyniki prawdziwie dodatnie i prawdziwie
ujemne, fałszywie dodatnie i fałszywie ujemne
Wystąpienie wartości prawidłowej w próbce
pochodzącej od osoby chorej jest określane jako
wynik fałszywie ujemny (FN). Podobnie
wystąpienie wyniku nieprawidłowego w próbce
pochodzącej od osoby zdrowej jest określane jako
wynik fałszywie dodatni (FP). Podobnie wyniki
prawidłowe u osób zdrowych klasyfikuje się jako
prawdziwie ujemne (TN) i wyniki nieprawidłowe u
osób chorych jako prawdziwie dodatnie (TP).
Czułość i swoistość diagnostyczna
testu
 Każdy test diagnostyczny może w niektórych przypadkach
uzyskać wyniki różne od wyników rzeczywistych, na
przykład test diagnostyczny na podstawie otrzymanych
parametrów klasyfikuje pacjenta do grupy osób chorych na
daną chorobę, bądź zdrowych. W rzeczywistości ilość osób
zakwalifikowanych do powyższych grup przez test może się
różnić od ilości osób rzeczywiście zdrowych i rzeczywiście
chorych.
 Poprzez ilość wyników sklasyfikowanych jako TP, FP,
TN i FN definiuje się pojęcia czułości i swoistości
diagnostycznej testu.
Czułość diagnostyczna
Czułość diagnostyczna wyraża proporcję osób w
grupie chorych, które miały dodatni wynik testu i
zostały poprawnie zidentyfikowane jako chorzy.
Czułość jest więc miarą zdolności danego testu do
rozpoznania choroby:
Swoistość diagnostyczna
Swoistość diagnostyczna odpowiada odsetkowi osób
zdrowych, które miały ujemny wynik testu, a zatem za
pomocą ocenianego testu poprawnie wykluczono
chorobę:
Wartości predykcyjne dodatnie i ujemne
oraz współczynnik chorobowości
 Wartość predykcyjna dodatnia (PPV) – prawdopodobieństwo, że
osobnik miał chorobę mając pozytywny wynik testu. Jeśli więc badana
osoba otrzymała pozytywny wynik testu, to PPV daje jej informację na
ile może być pewna, że cierpi na daną chorobę.
 Wartość predykcyjna ujemna (NPV) – prawdopodobieństwo, że
osobnik nie miał choroby mając negatywny wynik testu. Jeśli więc
badana osoba otrzymała negatywny wynik testu, to NPV daje jej
informację na ile może być pewna, że nie cierpi na daną chorobę.
Wartości predykcyjne dodatnie i ujemne są zależne od
rozpowszechnienia choroby (od współczynnika
chorobowości).
Współczynnik chorobowości (częstość występowania,
PV- prevalence) – prawdopodobieństwo wystąpienia
choroby w populacji, dla której przeprowadzony był
test diagnostyczny.
Iloraz wiarygodności wyniku dodatniego i
iloraz wiarygodności wyniku ujemnego
 Iloraz wiarygodności wyniku dodatniego, LR+ –
miara ta pozwala na porównywanie dopasowania
wyników kilku testów do tzw. gold-standard i nie jest
zależna od rozpowszechnienia choroby. Jest to iloraz
dwóch szans: szansy na to, że pozytywny wynik testu
otrzyma osoba z grupy chorych do szansy, że ten sam
efekt będzie obserwowany wśród osób zdrowych.
 Iloraz wiarygodności wyniku ujemnego, LR- – jest
to iloraz dwóch szans: szansy na to, że negatywny
wynik testu otrzyma osoba z grupy chorych do szansy,
że ten sam efekt będzie obserwowany wśród osób
zdrowych.
 Dokładność – prawdopodobieństwo prawidłowej
diagnozy przy wykorzystaniu testu diagnostycznego.
Jeśli więc badana osoba otrzymała pozytywny lub
negatywny wynik testu, to Acc daje jej informację o
tym na ile może być pewna postawionej diagnozy.
 Czułość i swoistość są najczęściej wykorzystywanymi
miarami i są podstawą do konstrukcji krzywej ROC
Krzywe ROC (receiver operating
characteristics)
Krzywe ROC służą do wyznaczenia optymalnego
punktu odcięcia dzielącego zbiorowość na dwie grupy:
w której występuje dane zjawisko np. choroba i w
której brak zjawiska. Ponadto służą do oceny mocy
diagnostycznej testu, a także jakościowego porównania
dokładności kilku testów.
Konstrukcja krzywej ROC

Krzywa ROC ilustruje związek
miedzy czułością a swoistością Dla
każdego z możliwych punktów
odcięcia obliczamy czułość i
swoistość, a następnie zaznaczamy
je w układzie współrzędnych,
gdzie na osi odciętych jest (1swoistość)- wyniki fałszywie
dodatnie, a na osi rzędnych
czułość- wyniki prawdziwie
dodatnie.
Uzyskane punkty są ze sobą połączone. Powstała w ten sposób krzywa, a w
szczególności pole pod nią, obrazuje jakość klasyfikacyjną analizowanej
zmiennej diagnostycznej. Gdy krzywa ROC pokrywa się z przekątną y = x, to
decyzja podejmowana na podstawie zmiennej diagnostycznej jest tak samo
dobra jak losowy podział badanych obiektów na grupy (+) i (–).
Punkt odcięcia(Wartość graniczna)
Przy użyciu krzywych ROC dokonuje się wyboru
optymalnego punktu odcięcia, czyli pewnej wartości
zmiennej diagnostycznej, która najlepiej dzieli badaną
zbiorowość na dwie grupy: (+) w której występuje dane
zjawisko (kodowanej jako 1) i (–) w której dane
zjawisko nie występuje (kodowanej jako 0).
Wartość zmiennej zależnej należy do przedziału (0, 1)
Ważne jest wybranie odpowiedniego punktu odcięcia,
czyli takiej wartości a , że jeśli y < a to obiekt
przyporządkowujemy do klasy kodowanej przez 0, jeśli
y >/= a to do klasy kodowanej przez 1.
Błędne klasyfikacje do dwóch klas mogą mieć bardzo
rożny koszt. Na przykład, w klasyfikowaniu pacjentów
do grup ryzyka gorszym błędem jest traktowanie
chorego pacjenta jako zdrowego niż odwrotnie. Dobry
model to taki, który minimalizuje liczbę błędów, czyli
FP oraz FN.
Punkt odcięcia.
Wobec zachodzenia na siebie rozkładów
zawsze pewna ilość osób zdrowych będzie
mieć wartości mierzonego parametru poza
wartością graniczną, natomiast w grupie
osób chorych pewna ilość badanych będzie
mieć wartości mierzone poniżej wartości
granicznej, a więc mieszczące się w zakresie
referencyjnym.
Wyznaczanie punktu odcięcia.
 Krzywe ROC zawierają wszystkie możliwe pary
czułości i swoistości wyznaczone z danych
eksperymentalnych dla badanego testu
laboratoryjnego. Jednakże, aby można go było
zastosować do dalszego leczenia pacjenta należy
wybrać jeden próg decyzyjny odpowiadający
optymalnemu punktowi odcięcia. Wymaga to
uwzględnienia kosztów niepożądanych błędów, czyli
fałszywie dodatniej i fałszywie ujemnej klasyfikacji
oraz częstości występowania choroby P (prevalence).
Wzór, który łączy oba elementy przyjmuje postać:
gdzie:
m – współczynnik kierunkowy prostej stycznej do krzywej ROC w
najlepszym punkcie operacyjnym
Optymalnym punktem odcięcia jest punkt krzywej
ROC znajdujący się najbliżej punktu o współrzędnych
(0, 1). Punkt o współrzędnych (0, 1), to punkt o czułości
równej 1 (wszystkie obiekty wybranej klasy wykryto) i
swoistości równej 1 (nie uznano błędnie żadnego
obiektu za obiekt wybranej klasy). Jeśli dla pewnego
punktu odcięcia klasy są całkowicie odseparowane i
wskazania modelu dobre, to krzywa ROC przechodzi
przez ten punkt.
Ocena mocy diagnostycznej testu.
Porównanie kilku testów.
 Wykresy krzywych ROC dla wyników kilku testów
mona umieścić wspólnie na jednym wykresie. Pozycja
krzywej ROC (bliskość lewego górnego rogu rysunku)
daje jakościową informację o dokładności testu.
Natomiast położenie dwu lub więcej krzywych
dostarcza jakościowego porównania dokładności kilku
testów. Krzywa leżąca powyżej od innej, odpowiada
testowi o wyższej sile diagnostycznej. Wykres
krzywych ROC daje bezpośrednie, natychmiastowe
porównania miedzy testami na wspólnej skali
Na wykresie są przedstawione trzy krzywe ROC, reprezentujące bardzo dobre,
dobre i bezwartościowe badania. Żółta krzywa pokazuje doskonały test,
krzywa granatowa odzwierciedla bezwartościowe badania, a krzywa różowa
badania dobre.
Pole pod krzywą ROC
Krzywa ROC daje możliwość bezpośredniej oceny mocy
diagnostycznej testu przy danej wartości granicznej.
AUC (ang. area under curve) – wielkość pola pod
krzywą ROC mieści się w przedziale < 0; 1 >. Im
większe jest pole, tym dokładniej zaklasyfikujemy
obiekty do grupy (+) i (–) na podstawie analizowanej
zmiennej diagnostycznej, tym większa moc
diagnostyczna testu. Większość testów używanych w
diagnostyce reprezentuje moc diagnostyczną
wyrażającą się wielkościami AUC pomiędzy 0,8 i 0,95.
By klasyfikacja była
lepsza niż losowy
podział obiektów
do dwóch klas, pole
pod krzywą ROC
powinno być
istotnie większe niż
pole pod prostą y =
x czyli niż 0.5.
DZIĘKUJĘ ZA UWAGĘ.