Transcript Estudios de las pruebas diagnósticas

Epidemiología y demografía sanitaria
Bloque de epidemiología
Tema 13
Estudios de las pruebas
diagnósticas
Dr. Esteve Fernández
¿Qué queremos aprender?
1. El concepto de variación en la medición y
reproducibilidad.
2. Los conceptos y manera de calcular la sensibilidad
y especificidad.
3. Los conceptos y manera de calcular los valores
predictivos.
4. La utilidad de las curvas ROC y de las razones de
verosimilitud.
5. Uso de pruebas diagnósticas en serie y en paralelo.
6. Los diseños para valorar la utilidad de las pruebas
diagnósticas
Estructura de la sesión
1. Variación en la medición.
2. Reproducibilidad o concordancia de medidas.
3. Validez de una prueba diagnóstica.
4. Uso de pruebas diagnósticas en serie y en
paralelo.
5. Diseños para valorar una prueba diagnóstica.
Materiales para el aprendizaje
0. (Diapositivas de la lección)
1. Lectura recomendada
•
Capítulo 14 libro Piédrola Gil y Capítulo 3 libro
Fletcher y cols.
2. Lecturas complementarias
•
Artículos Aula Global
3. Seminario de resolución de problemas nº 9
Variación en la medición
Las apariencias a la mente son de cuatro clases.
Cosas hay que son lo que parecen ser;
o no lo son y no parecen serlo;
o lo son y no parecen serlo;
o no son y sí parecen serlo.
Es tarea del hombre sabio
el decidir correctamente
en todos esos casos
Epícteto (siglo II dC)
Discursos (libro I, cap. 27)
La práctica de la medicina clínica
consiste en interpretar signos,
síntomas y “pruebas diagnósticas”
para tomar decisiones: diagnosticar,
tratar, o no tratar…
Tensión arterial sistólica (mm Hg)
Valores hipotéticos de TA sistólica en un individuo
200 180 160 -
140 120 100 80 tiempo
Fuentes de variabilidad
Reproducibilidad o concordancia
Grado en que concuerdan dos o más
mediciones sobre la misma muestra
Validez
Grado en que una medición coincide con la
verdad
Validez y reproducibilidad…...
Reproducibilidad o
concordancia de medidas
Reproducibilidad
Repetibilidad / Concordancia /
Acuerdo / Fiabilidad
Grado en en que una variable tiene el
mismo valor cuando se mide varias veces
en la misma muestra
 La reproducibilidad es previa a la validez
 El consenso (alta reproducibilidad) es útil
en ausencia de referente
Reproducibilidad o concordancia
• interobservador
grado de coincidencia de un
observador consigo mismo
• entre observadores
grado de concordancia entre dos
o más observadores
Reproducibilidad de variables categóricas
Acuerdo específico en
lo positivo
Po+ = 2a / (2a+b+c)
Acuerdo específico en
lo negativo
Po- = 2d / (2d+b+c)
Observador B
Observador A
Acuerdo total
Po = (a+d) / (a+b+c+d)
+
–
+
a
b
–
c
d
Problemas
 Depende de los pares discordantes
 Puede haber concordancia al azar
Índice Kappa (test de Cohen)
Resume la concordancia entre dos medidas de una
variable en escala cualitativa, tras eliminar la
concordancia debida al azar.
Observador A
Observador B
+
–
+
a
b
–
c
d
p0  p e
Kappa 
1  pe
k
p0   pii
i 1
k
pe   pi. * p.i
i 1
Concordancia entre dos radiólogos
al leer una mamografía (imagen patológica sí/no)
Observador A
Observador B
Sí
No
Sí
71
41
No
42
455 497
112
113 496 609
Acuerdo total
Po = (a+d) / (a+b+c+d)
Po = 0,8637 = 86,4%
Acuerdo específico en
lo positivo
Po+ = 2a / (2a+b+c)
Po+ = 0,6311 = 63,1%
Acuerdo específico en
lo negativo
Po- = 2d / (2d+b+c)
Po- = 0,9164 = 91,6%
Pasamos a probabilidades…
Observador B
Sí
No
Sí
Observador A
No
71
 0.1166
609
112
 0.1839
609
455
 0.7471
609
497
 0.8161
609
113
496
 0.1856
 0.8144
609
609
k
p0   pii  0.1166 0.7471 0.8637
i 1
k
pe   pi. * p.i  (0.1856* 0.1839)  (0.8144* 0.8161)  0.6989
i 1
p0  pe 0.8637 0.6979
Kappa 

 0.547
1  pe
1  0.6989
Clasificaciones propuestas para la
interpretación del índice kappa
1
0,8
Landis and
Koch (1977)
Altman (1991)
Fleiss (1981)
Almost
perfect
Very good
Excellent
Substantial
Good
Byrt (1996)
Excellent
Very good
0,6
Moderate
Moderate
Fair
Fair
Good
Fair
to
good
Fair
0,4
Slight
0,2
Slight
Poor
0
Poor
Poor
Poor
-1.0
No
agreement
¿Y si tuvieramos tres opciones de respuesta?
Observador B
Observador A
+
+/–
–
+
Kappa ponderada
+/–
p0 w  pew
w 
1  pew
–
Problemas con el uso de kappa
• Depende de la prevalencia de “verdaderos
positivos” (o del desequilibrio entre resultados
negativos y positivos)
 dar el valor de  , Po+ y Po-
• Puede estar sesgado por la asimetría de las
discordancias
 plantear diferentes escenarios de acuerdo
Reproducibilidad de variables continuas
Ej.: Concordancia entre dos balanzas en la
medida del peso
• Pueden categorizarse  pérdida de información
• No usar coeficiente de correlación
(regresión a la media)
• Trabajar con la “diferencia entre variables”
y sus medias:
 coeficiente de correlación intraclase
 t de Student para datos apareados
Validez de una
prueba diagnóstica
Validez
Grado en el que los resultados
de una medición corresponden
al fenómeno real (“la verdad”)
ENFERMEDAD
Sí
+
PRUEBA
No
Verdaderos
positivos a
c
–
Falsos
negativos
b
d
Falsos
positivos
Verdaderos
negativos
Cosas hay que son
lo que parecen ser;
ENFERMEDAD
Sí
+
PRUEBA
No
Verdaderos
positivos a
c
–
Falsos
negativos
o lo son y no parecen
serlo;
o no son y sí
parecen serlo.
b
d
Falsos
positivos
Verdaderos
negativos
o no lo son y no parecen
serlo;
Validez
– Grado en que los resultados de una prueba
corresponden realmente a aquello que se está
midiendo.
– Capacidad de la prueba para medir el fenómeno
que se está estudiando.
– Capacidad de una prueba diagnóstica de clasificar
correctamente a enfermos y no enfermos.
Parámetros de validez interna:
– Sensibilidad (S) de la prueba
– Especificidad (E) de la prueba
Parámetros de validez interna: sensibilidad
Sensibilidad
Probabilidad de que la prueba sea positiva si la
enfermedad está presente.
ENFERMEDAD
PRUEBA
Sí
+
–
No
Verdaderos
positivos a b
c
Falsos
negativos
d
Falsos
positivos
Verdaderos
negativos
Sensibilidad: S =
a
a+c
Ejemplo:
S=0,75 u 75%
La prueba es positiva en
el 75% de los que tienen
la enfermedad
Parámetros de validez interna: especificidad
ENFERMEDAD
PRUEBA
Sí
+
–
No
Verdaderos
positivos a b
c
Falsos
negativos
d
Falsos
positivos
Verdaderos
negativos
d
Especificidad: E =
b+d
Ejemplo:
E=0,90 u 90%
La prueba es negativa en
el 90% de los que no
tienen la enfermedad
Especificidad
Probabilidad de que la prueba sea negativa en los
individuos sanos.
Ejemplo: Validez del diagnóstico clínico de la faringitis
en 152 pacientes (patrón de oro: cultivo)
Diagnóstico clínico
Cultivo faríngeo
+
–
+
27
35
–
10
77
a
Sensibilidad: S =
a+c
S = 27 / 37 = 73%
d
Especificidad: E =
b+d
E = 77 / 112 = 69%
IC95%:
S= 0,73 (0,66 - 0,80)
p  1,96  (p (1-p) / N)
E= 0,69 (0,61 - 0,76)
Interés de pruebas sensibles
• Cuando el precio de omitir un diagnóstico sea elevado
o cuando existe riesgo de extensión de la enfermedad
Objetivo: detectar que se tiene la enfermedad (para
tratarla o prevenir su extensión)
Ej.: linfoma, Sida
• En las primeras etapas diagnósticas, cuando hay
numerosas posibilidades diagnósticas, con la intención
de disminuir éstas.
Objetivo: descartar procesos.
Ej.: sospecha de neoplasia
Una prueba sensible sobre todo es útil
cuando su resultado es negativo.
Interés de pruebas específicas
• Útiles para confirmar un diagnóstico que ha sido
sugerido por otros datos  una prueba específica da
pocos resultados “falsos positivos”.
Objetivo: confirmar que no se tiene el proceso
• Cuando los falsos positivos pueden causar perjuicio
importante al paciente (físico, emocional o
económico).
Una prueba específica sobre todo es
útil cuando su resultado es positivo.
¿Relación entre S y E?
• Aparentemente no están relacionadas: la S se mide
entre los que tienen la enfermedad y la E entre los
que están sanos...
Angina
IAM
[CPK]
VN
FP
¿Relación entre S y E?
• Aparentemente no están relacionadas: la S se mide
entre los que tienen la enfermedad y la E entre los
que están sanos...
Angina
IAM
[CPK]
FN
VP
¿Relación entre S y E?
• Aparentemente no están relacionadas: la S se mide
entre los que tienen la enfermedad y la E entre los
que están sanos...
Angina
IAM
VN
FN
FP
VP
[CPK]
 Especificidad
 Sensibilidad
¿Relación entre S y E?
VN
FP
 Especificidad
FN
VP
 Sensibilidad
Relación
inversa
Cuanto más exigente sea el criterio,
menor será la sensibilidad y
mayor la especificidad
Relación inversa
entre S y E
CPK
Puntos de
corte
Valor
S
E
1
70
100.0
17.7
2
120
94.0
40.3
3
140
92.5
59.7
4
160
85.1
82.3
5
180
82.6
83.9
6
200
73.1
87.1
7
220
70.1
90.3
8
260
67.2
90.3
9
300
61.2
90.3
10
340
68.2
90.3
11
400
32.8
96.8
12
500
16.8
100.0
sensibilidad
vs.
1 – especificidad
sensibilidad
La relación inversa
entre S y E
suele representarse
mediante la curva ROC
“receiver operating
characteristic”
1 – especificidad
Curva ROC
sensibilidad
• Permite el cálculo del área
bajo la curva
• Impresión gráfica de la
relación entre S y E
• Facilita elección puntos de
corte
• Permite valorar todo el
espectro de valores
• Permite comparar pruebas
diagnósticas (gráfica y
estadísticamente)
FP+FN
VN+VP
Diagnósticos
correctos
1 – especificidad
Valores predictivos
En clínica normalmente deseamos saber
si el resultado (positivo o negativo) de la
prueba es correcto o no, es decir, la
probabilidad de la enfermedad tras
saber el resultado de la prueba
Valor predictivo positivo
• Probabilidad que tiene una prueba de detectar
enfermos cuando da un resultado positivo
ENFERMEDAD
PRUEBA
Sí
+
–
No
Verdaderos
positivos a b
c
Falsos
negativos
d
Falsos
positivos
Verdaderos
negativos
a
VPP =
a+b
Ejemplo:
VPP=0,99 0 99%
El 99% de los pacientes
con la prueba positiva
tiene realmente la
enfermedad
Valor predictivo positivo
• Probabilidad que tiene una prueba de detectar
enfermos cuando da un resultado positivo
a
VPP =
a+b
El VPP depende de la
prevalencia o probabilidad
a priori de la enfermedad
Cuando la muestra no es
representativa se calcula a
partir del Teorema de Bayes
VPP =
P*S
P * S + (1 – P) (1 – E)
P: prevalencia
S: sensibilidad
E: especificidad
Valor predictivo negativo
• Probabilidad que tiene una prueba de detectar sanos
cuando da un resultado negativo
ENFERMEDAD
PRUEBA
Sí
+
–
No
Verdaderos
positivos a b
c
Falsos
negativos
d
Falsos
positivos
Verdaderos
negativos
c
VPN =
c+d
Ejemplo:
VPN=0,10 0 10%
El 10% de los pacientes
con la prueba negativa
tiene realmente la
enfermedad
Valor predictivo negativo
• Probabilidad que tiene una prueba de detectar sanos
cuando da un resultado negativo
c
VPN =
c+d
El VPN depende de la
prevalencia o probabilidad
a priori de la enfermedad
Cuando la muestra no es
representativa se calcula a
partir del Teorema de Bayes
VPP =
(1 – P) * E
(1 – P) E + P (1 – S)
P: prevalencia
S: sensibilidad
E: especificidad
Valores predicitivos --implicaciones
Dado que dependen de la prevalencia:
• Las pruebas diagnósticas funcionan mejor cuando
la prevalencia de la enfermedad es mayor
• El uso de pruebas diagnósticas debe tener en
cuenta las características de la enfermedad en el
contexto en que se usan
• La prevalencia de enfermedad depende del nivel
asistencial
Razones de verosimilitud
(razones de probabilidad diagnóstica)
(likelihood ratios)
Parámetros independientes de la
prevalencia de la enfermedad que
aglutinan la información sobre
sensibilidad y especificidad
Razón de verosimilitud positiva (RVP)
La RVP relaciona…
… la ventaja preprueba de diagnosticar la
enfermedad (odds de prevalencia, P / 1 – P)
… con la ventaja posprueba de un resultado
positivo (odds del VPP, VPP / 1 – VPP)
VPP
P
=
1 – VPP
S
X
1–P
1–E
Razón de verosimilitud positiva (RVP)
Cuanto mayor es la RVP (sobre 1) más importante es la
contribución de un resultado positivo de la prueba en
el diagnóstico de la enfermedad.
Ejemplo
RVP=8 indica que el resultado es proporcionalmente 8
veces más frecuente en los enfermos que en los no
enfermos
RVP >10
RVP 5-10
RVP 2-5
RVP 1-2
-- prueba excelente
-- prueba buena
-- prueba regular
-- deficiente
Razón de verosimilitud negativa (RVN)
La RVN relaciona…
… la ventaja preprueba de diagnosticar la
enfermedad (odds de prevalencia, P / 1 – P)
… con el inverso de la ventaja posprueba de un
resultado negativo (odds del VPN, VPN / 1 – VPN)
1 – VPN
=
VPN
1–S
P
X
1–P
E
Razón de verosimilitud negativa (RVN)
1–S
E
La RVN valora la contribución de un
resultado negativo en la “no
confirmación” de la enfermedad
más importante cuanto más cerca de 0
Se puede definir RVN al revés.
Informa de la relación entre la ventaja
preprueba de no enfermedad y la ventaja
posprueba del resultado negativo, y su
escala es similar a la de la RVP
E
1–S
Uso de pruebas diagnósticas
múltiples
Pruebas diagnósticas múltiples
• Tipos:
– pruebas en paralelo (a la vez): un resultado
positivo de cualquiera de ellas se considera
diagnóstico de la enfermedad
– pruebas en serie (consecutivas): sólo se
considera el diagnóstico de enfermedad cuando
todas las pruebas dan positivas.
Pruebas en paralelo
• Cuando se necesita un diagnóstico rápido
(Ej.: pacientes hospitalizados o en urgencias)
Prueba A o prueba B o prueba C positivas
A
B
C
+
–
–
–
+
+
– aumentan la sensibilidad y
el VP negativo
– disminuyen la especificidad
y el VP positivo
Pruebas en paralelo
• Especialmente útiles cuando se requiere una
prueba muy sensible pero sólo se dispone de
pruebas relativamente insensibles que miden
diferentes fenómenos clínicos.
• Es menos probable que la enfermedad se pase
por alto, pero también hay más falsos positivos.
• Perjuicio: el tratamiento de algunos pacientes sin
la enfermedad.
Pruebas en serie
• Cuando no se precisa una evaluación rápida
• Cuando alguna de las pruebas tiene un coste o un
riesgo elevado
Prueba A y prueba B y prueba C positivas
A
+
–
B
+
–
C
+
–
-- aumentan la especificidad y el VP positivo
-- disminuyen la sensibilidad y el VP negativo
Diseños para valorar
pruebas diagnósticas
Diseños para valorar pruebas diagnósticas
Aspectos clave
• Seleccionar una muestra que represente a los
pacientes o a la población en la que se aplicará la
prueba
• Se debe estudiar la prueba diagnóstica bajo
condiciones reales de aplicación (sin que el estudio
influya en cómo se realizan)
• Independencia de las observaciones: en los estudios
de concordancia es crucial que los observadores no
se influyan
Diseños para valorar pruebas diagnósticas
Estudio transversal
• Único que se utiliza en los estudios de reproducibilidad
• Segundo más usado en el estudio de la validez
• La prueba se aplica a una muestra representativa de los
sujetos en los que luego se utilizará y todos los resultados
se confirman mediante una prueba de referencia
• Permite calcular S y E; VPP y VPN; RVP y RVN
 punto clave: selección de la muestra
Diseños para valorar pruebas diagnósticas
Estudio de casos y controles
• Diseño más usado en estudios de validez, y al mismo
tiempo el que más problemas plantea
• Se seleccionan casos con la enfermedad y controles con
diagnósticos diferenciales de la enfermedad (y con
confirmación del diagnóstico mediante la prueba de
referencia)
• Permite calcular la S en los casos y la E en los controles
Si enfermos y no enfermos no guardan la debida
proporción no se pueden calcular los VPP y VPN
Diseños para valorar pruebas diagnósticas
Estudio de cohortes
• Se utilizan menos para valorar pruebas diagnósticas
• A partir de una muestra representativa de la población de
referencia se forman dos cohortes, una con la prueba
positiva y otra con la prueba negativa. En la cohorte con la
prueba positiva se aplica la prueba de referencia y la
cohorte con prueba negativa se sigue para descartar el
diagnóstico
La declaración STARD
Standards for Reporting of Diagnostic Accuracy
Es una guía de 25 puntos (y un diagrama de flujo), que
pueden utilizar autores, editores, revisores y lectores
para la redacción de artículos sobre pruebas
diagnósticas y para su evaluación
Disponible en Aula Global
Recapitulación
1. Variación en la medición
Reproducibilidad o concordancia
Grado en que concuerdan dos o más
mediciones sobre la misma muestra
Validez
Grado en que una medición coincide
con la verdad
Recapitulación
2. Reproducibilidad o concordancia
Observador B
Observador A
• Acuerdo total
• Acuerdo específico en lo
positivo
• Acuerdo específico en lo
negativo
• Índice Kappa
• Índice Kappa ponderado
+
–
+
a
b
–
c
d
Recapitulación
3. Validez de una prueba diagnóstica
ENFERMEDAD
Grado en el que los
resultados de una medición
corresponden al fenómeno
real (“la verdad”)
PRUEBA
Sí
+
–
No
Verdaderos
positivos a
Falsos
negativos
• Sensibilidad (S) y Especificidad (E)
• Curva ROC
• Valores predictivos (VPP y VPN)
• Razones de verosimilitud (RVP y RVN)
Falsos
b positivos
c d
Verdaderos
negativos
Recapitulación
4. Pruebas diagnósticas múltiples
Pruebas en paralelo
A
• aumentan la sensibilidad y el VPN
• disminuyen la especificidad y el VPP
+
B
–
+
C
–
+
Pruebas en serie
• aumentan la especificidad y el VPP
• disminuyen la sensibilidad y el VPN
A
+
–
B
+
–
C
+
–
–
Recapitulación
5. Diseños para valorar pruebas diagnósticas
• estudios transversales
• estudios de casos y controles
• estudios de cohortes
• La declaración STARD
Epidemiología y demografía sanitaria
Bloque de epidemiología
Tema 13
Estudios de las pruebas
diagnósticas
Dr. Esteve Fernández