CURSO DE EPIDEMIOLOGÍA BÁSICA 8a. Propiedades de las pruebas de diagnóstico

Juan José Romero Zúñiga, DMV, MSc, PhD Programa de Investigación en Medicina Poblacional Escuela de Medicina Veterinaria Universidad Nacional Centro de Capacitación – Alto de Ochomogo Lunes, 3 de mayo 2010

Conceptos generales

 Una prueba diagnóstica es el proceso mediante el cual un individuo o grupo de individuos es clasificado como poseedor o no de un determinado atributo.

 En general, por simplicidad, se habla de presencia o ausencia de enfermedad; pero puede ser aplicado a eventos de manera general.

 Ejemplos:     Exámenes clínicos (físicos) Exámenes laboratoriales (Ac, Ag, Aislamiento, etc.) Imágenes Procedimientos

Conceptos generales

 Se desarrollan o para detectar una enfermedad subclínica reemplazar otra técnica muy laboriosa o cara.

o para  Debería tener una validez alta lo que significa que los porcentajes de resultados falsos (positivos o negativos) deberían ser limitados.

 La validez será expresada por la Para determinarlos es necesaria una prueba patrón llamada Prueba de Oro ó Gold Standard.

Sensibilidad y la Especificidad .

Conceptos generales

 Según el objetivo de la prueba y el orden de uso de ellas, se ha generalizado el uso de los términos:  Pruebas de tamizaje:  Para detectar los individuos con alta probabilidad de poseer o no una enfermedad en un individuo o grupos de individuos aparentemente sanos.

 Pruebas confirmatorias  Tiene como objetivo determinar si el individuo sospechoso (generalmente luego de una prueba tamiz) es clasificado definitivamente como enfermo o sano.

Conceptos generales

 Las pruebas diagnósticas deberían cumplir con tres premisas:  Todos los individuos sanos tienen un rango de valores uniforme en los resultados de la prueba.

 Todos los individuos enfermos tienen un rango de valores uniforme en los resultados de la prueba, pero diferente de los obtenidos en los individuos sanos.

 Todos los resultados de la prueba diagnóstica son consistentes con la condición del individuo sano o enfermo.

9 8 7 6 5 4 3 2 1 0

Situación ideal de las pruebas de diagnóstico.

2

Individuos negativos

4 8 16 32

Títulos de Ac Individuos positivos

64 128 256

Variabilidad de las pruebas diagnósticas

 Confiabilidad y precisión  Ausencia de error aleatorio.

 Validez  Ausencia de error sistemático o sesgo Por ejemplo: Una prueba puede repetir consistentemente resultados falsos positivos (confiable pero no válido), o puede dar resultados correctos pero con relativa alta variabilidad (válido pero poco confiable).

Variabilidad de las pruebas diagnósticas

 Evaluar una prueba = confirmar su confiabilidad  Validar una prueba = determinar la capacidad discriminatoria Falta de validez: Falla en la prueba para detectar verdaderos poseedores o no, de una condición dada.

Variabilidad de las pruebas diagnósticas

 Exactitud  Es el grado en que la prueba representa el verdadero valor del atributo que se esta midiendo.

 En la práctica se estima por la concordancia observada entre la prueba y otra prueba de referencia.

 Se requiere de ausencia de desviaciones sistemáticas en los resultados.

Variabilidad de las pruebas diagnósticas

 Precisión  Se refiere al grado de detalle de la medición.  Entre más preciso es la prueba diagnóstica más exacta es la clasificación de un individuo como sano o enfermo.

 Ej. Títulos de Ac.

  2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048, 4096....

80, 160, 320, 640, 1280, 2560....

Variabilidad de las pruebas diagnósticas

 Validez  Se refiere al hecho de que la prueba mida lo que debe medir.

 Por ejemplo: Si se mide presencia y niveles de antígeno prostático, debemos estar seguro de que es eso lo que está midiendo y no otra cosa (falsos positivos). Resultados en mujeres o en hombres sanos deben ser nulos o muy bajos.

 La falta de validez provoca errores de medición sistemáticos (sesgo).

Variabilidad de las pruebas diagnósticas

 Confiabilidad  Es el grado de estabilidad cuando la prueba es repetida en condiciones idénticas.

 Es el grado en el cual los resultados obtenidos en una medición pueden ser replicados.

 Influenciada por:    Variabilidad de las condiciones del paciente y el laboratorio Variabilidad de interpretación entre observadores (concordancia) Variabilidad de interpretación del mismo observador en condiciones diferentes

Variabilidad en los individuos sanos  Al aplicar una prueba a un grupo de individuos sanos, se debe obtener una serie de resultados variables.

 Variación biológica verdadera  Variación por los métodos de medición  Son este rango de resultados “normales”?

Determinación de normalidad  Distribución Gaussiana Se basa en el supuesto de los resultados siguen una curva de Gauss.

 El 95% de los valores están ±2 DE de la media, a los que se les considerará “normales”.

 Problemas:     Algunas mediciones tienes distribución no normal Todas las enfermedades tendrían la misma frecuencia esperada Definición de enfermedad sin sustento biológico (matemático) Cambios en un mismo individuo, dentro del rango de normalidad podrían significas patología.

Determinación de normalidad  Percentiles Se utiliza, de manera arbitraria un percentil sobre o debajo del cual se considera como anormal un resultado  P. ej. 5% inferior o superior  Es una estimación no paramétrica pues no depende de que los datos presenten una curva Gaussiana.

 Se aplica a todo tipo de distribución.

 Si los datos presentan distribución Gaussiana, utilizar este método resulta idéntico que usar el anterior.

Determinación de normalidad  Lo socialmente aceptable No hay procesos estadísticos que medien en la definición del criterio de normalidad, sino la subjetividad.

 P. ej. Figura femenina, color de la piel, estatura, etc.

Determinación de normalidad  Terapéutico Se basa en los valores a partir de los cuales un sujeto requiere tratamiento médico.

 Anormal:   Niveles de glicemia sobre 126mg/dL Tensión arterial sobre 130/85   IMC sobre 30 Etc.

Determinación de normalidad  Factores de riesgo Se considera normal aquel sujeto que no presenta el factor de riesgo para la enfermedad.

 Se circunscribe a los valores de la prueba (exposición) que no adicionan riesgo de morbilidad o mortalidad.

 No todos los expuestos enferman y viceversa, por lo que el riesgo de ser “anormal” es alto respecto a la probabilidad de enfermar.

Determinación de normalidad  A partir del diagnóstico Conocido como Valor Predictivo  Se basa en la comparación de los resultados respecto a una prueba patrón (estándar de oro).

 Normal: negativo a la prueba  Anormal: positivo a la prueba  No importa la distribución de los resultados.

 No considera los falsos positivos ni falsos negativos.

Características deseables de las pruebas diagnósticas  Alta capacidad discriminatoria  Debe diferenciar muy bien los individuos sanos de los enfermos.

 Economía  Uso de pequeñas cantidades de material biológico.

   Uso de pequeñas cantidades de antígeno.

Equipo sencillo.

Bajo costo por muestra

Características deseables de las pruebas diagnósticas  Simplicidad  Facilidad de aprehensión y aplicación.

 Entre más compleja la prueba hay más fuentes de error.

 Seguridad  Preferiblemente no debe utilizar material biológico potencialmente patógeno.

Características deseables de las pruebas diagnósticas  Objetividad  Es preferible el uso de pruebas con equipos de lectura automática, los cuales deben estar bien calibrados y estandarizados.

 P. ej : ELISA vs. Inmunofluorescencia indirecta.

Propiedades de las pruebas de diagnóstico

Test alternativo Golden standard test ó realmente enfermos + + a b a+b c a+c d b+d c+d N

a = número de verdaderos positivos b = número de falsos positivos c = número de falsos negativos d = número de verdaderos negativos

Sensibilidad

 Es la probabilidad de que un individuo realmente enfermo (infectado) sea clasificado como enfermo utilizando una prueba diagnóstica.

 Se basa en el hecho que ninguna prueba diagnóstica es perfecta.

Se = # de individuos enfermos clasificados positivos por la prueba Número total de individuos enfermos Se = a a+c

Especificidad

 Es la probabilidad que un individuo verdaderamente no enfermo (no infectado) sea clasificado como negativo por la prueba diagnóstica.

Sp= # de individuos sanos* clasificados negativos por la prueba Número de individuos sanos* Sp= d b+d * Se puede usar los t érminos no infectado, seronegativo, etc.

Razones de obtener baja sensibilidad

(aumento en número de falsos negativos)       Tolerancia natural o inducida (no hay producción de Ac al contacto con el Ag [BVDV]).

Tiempo de toma de muestra inadecuado.

 Tiempo entre infección y producción de Ac.

 Muestras cerca del parto.

Inhibidores no específicos.

Bloqueo de Ac (altas cantidades de IgG 1 enmascarar las cantidades de IgG 2 ).

pueden bloquear o Errores de laboratorio.

Inmunosupresión.

Razones de obtener baja especificidad

(aumento en número de falsos positivos)  Reacciones cruzadas (TBC-PTBC).

 Reacciones no específicas.

 Exposiciones verdaderas pero no relacionadas con el estado actual.

   Vacunación.

Inmunización pasiva (Ac calostrales).

Exposición previa (no vacunal).

 Errores de laboratorio.

Uso de pruebas con alta sensibilidad

 En fases tempranas de patogénesis cuando existen varios posibles agentes etiológicos.

 Si la probabilidad de encontrar la enfermedad (infección) es muy baja (baja prevalencia).

Uso de pruebas con alta especificidad

 Para confirmar los resultados de otras pruebas con alta sensibilidad.

 Si los falsos positivos tienen un gran efecto (efectos sicológicos, sociológicos, etc.. en individuos falsos positivos.  P. ej: VIH, Uso de drogas prohibidas en deporte).

Relación entre los resultados de las pruebas diagnósticas y el estado de salud del individuo Juan José Romero Zúñiga, DMV, MSc, PhD Programa de Investigación en Medicina Poblacional Escuela de Medicina Veterinaria Universidad Nacional

9 8 7 6 5 4 3 2 1 0

Situación ideal de las pruebas de diagnóstico.

2

Individuos negativos

4 8 16 32

Títulos de Ac Individuos positivos

64 128 256

9 8 7 6 5 4 3 2 1 0

Situación ideal de las pruebas de diagnóstico.

2

Individuos negativos

4 8 16 32

Títulos de Ac Individuos positivos

64 128 256

Relación entre estado de salud y resultado de la prueba diagnóstica

Test alternativo + Golden standard test ó realmente enfermos + ̶ Enfermos positivos Sanos positivos Enfermos negativos Sanos negativos Aparentemente Enfermos Aparentemente Sanos Verdaderos Enfermos Verdaderos Sanos Población

Tasa de falsos positivos

 Proporción de resultados positivos a la prueba y que corresponden a individuos sin el evento. Tasa falsos positivos = 1 - Sp 1 VN FP+VN  Efecto relativo importante en enfermedades que signifiquen la muerte del individuo (animal) o de fuerte efecto social o personal.

Tasa de falsos negativos

 Proporción de resultados negativos a la prueba y que corresponden a individuos con el evento. Tasa falsos negativos = 1 - Se 1 VP VP+FN  Importante efecto relativo si se tata de enfermedades que se desea eliminar de una población, pues significaría la persistencia del agente infeccioso en esa población.

Relación entre estado de salud y resultado de la prueba diagnóstica

9 8 7 2 1 0 6 5 4 3

Cut-off La mejor prueba es la que tiene el menor área de superposición de positivos y negativos

2

Individuos negativos

4

Individuos positivos FN FP

8 16 32

Títulos de Ac

64 128 256

9 8 7 2 1 0 6 5 4 3

Relación entre sensibilidad y especificidad

Sensibilidad Especificidad Sensibilidad Especificidad Cut-off

2

Individuos negativos

4 8 16

Individuos positivos

32

Títulos de Ac

64 128 256

9 8 7 2 1 0 6 5 4 3

Relación entre sensibilidad y especificidad

Sensibilidad Especificidad Cut-off

2

Individuos negativos

4 8 16

Individuos positivos

32

Títulos de Ac

64 128 256

9 8 7 2 1 0 6 5 4 3

Relación entre sensibilidad y especificidad

Sensibilidad Especificidad Cut-off

2

Individuos negativos

4 8 16

Individuos positivos

32

Títulos de Ac

64 128 256

El cálculo usando WinEpiscope

Exactitud

 Qué proporción de todas las muestras han dado el resultado correcto?

Exactitud= Verdaderos positivos + verdaderos negativos Total de muestras Exactitud= a + d a+b+c+d

Seguridad de las pruebas diagnósticas

Juan José Romero Zúñiga, DMV, MSc, PhD Programa de Investigación en Medicina Poblacional Escuela de Medicina Veterinaria Universidad Nacional

La seguridad de las pruebas diagnósticas

 La sensibilidad y la especificidad:  Valoran la validez de una prueba diagnóstica.

 Informan de la probabilidad de obtener un resultado concreto (positivo o negativo) en función de la verdadera condición del enfermo con respecto a la enfermedad.

 Carecen de utilidad en la práctica clínica.

La seguridad de las pruebas diagnósticas

 Cuando a un paciente se le realiza una prueba:  Ante un resultado (positivo o negativo) en la prueba, ¿cuál es la probabilidad de que el paciente esté realmente enfermo (sano)?.

 Los valores predictivos nos brindan esa información.

Valor predictivo positivo

 Clínicamente : es la probabilidad de padecer la enfermedad si se obtiene un resultado positivo en el test.  Cuantitativamente : es la proporción de individuos que resultaron positivos a la prueba diagnóstica, y que estaban realmente enfermos, con respecto a la totalidad de individuos positivos a la prueba.

a VP+ = a + b

Valor predictivo negativo

 Clínicamente : Es la probabilidad de que un sujeto con un resultado negativo en la prueba esté realmente sano.  Cuantitativamente : Es la proporción de individuos que resultaron negativos, y que estaban realmente sanos, con respecto a la totalidad de individuos que fueron negativos a la prueba.

d VP- = c + d

Resumen

Test alternativo Gold standard test ó realmente enfermos + + a c a+c b d b+d a+b c+d N

Sensibilidad (%) Especificidad(%) Valor predictivo + (%) Valor predictivo - (%) Tasa de falsos positivos Tasa de falsos negativos = 100*a/(a+c) = 100*d/(b+d) = 100*a/(a+b) = 100*d/(c+d) = (a/a+c) / (1- (d/b+d ) )… Se/1-Sp = (1- (a/a+c))/ (d/b+d) ... (1- Se)/Sp

También pueden (y deben)establecerse los límites de confianza para la sensibilidad, especificidad, valores predictivos y prevalencias usando una aproximación normal al error estándar para proporciones.

Propiedades de las pruebas de diagnóstico

Cómo determinar los valores umbrales Juan José Romero Zúñiga, DMV, PhD Programa de Investigación en Medicina Poblacional Escuela de Medicina Veterinaria Universidad Nacional

Valor umbral (

cut off

prueba diagnótica ) de una

 Es un valor límite para la positividad y negatividad de la prueba. En función de éstos se determinará la sensibilidad (Se), la especificidad (Sp) y los valores predictivos (VP) de dicha prueba.

 Se puede hacer mediante (al menos) dos métodos:  Usando la distribución de las muestras controles (positivos y negativos).

 Mediante curvas de ROC (Receiver Operating Characteristic)  Cambiar el punto de corte modifica la sensibilidad, especificidad y valores predictivos de un estudio, y por ende, la forma en que este se utiliza.

Método de “desviaciones estándar”

    Se requiere de al menos 100 muestras de controles positivos y 300 muestras de controles negativos ( Se debe esperar una distribución normal !!!

) Se debe aplicar la prueba y medir el resultado.

Posteriormente se describen los datos para obtener la desviación estándar de cada grupo de muestras control (positivas y negativas). Se selecciona el número de desviaciones estándar en que los resultados de las muestras incógnita serán clasificadas como positivos o negativos.

Método de “desviaciones estándar”

9 8 7 6 5 4 3 2 1 0 2

Controles negativos Controles positivos

4 8 1 16 2 3 3 2 32 1 64 128

Zona de problema

256

Método de curvas ROC

 Método desarrollado en la década de los 50 para discriminar entre las señales de radar y el ruido.

 Fue empleado por primera vez en medicina para la valoración radiológica  Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve.

Radiology

.

143

: 29-36  Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology. 148 : 839-43

Método de curvas ROC

 Gráfica que representa la sensibilidad (Y) versus el complementario de la especificidad (1-espec) para todos los valores de corte posibles.

 Permite obtener una valoración gráfica sobre la utilidad de una prueba diagnóstica, independientemente de la incidencia de la enfermedad en la población.

Método de curvas ROC

 Una prueba diagnóstica perfecta se ubicaria en la esquina superior izquierda  Una prueba que no discrimina haría una curva de 45º, desde el 0 hasta la esquina superior derecha

Método de curvas ROC

Valor T4 total <5 5.1-7 7.1-9 >9 Hipotiroideo Eutiroideo 18 7 4 3 32 1 17 36 39 93

 Se cuantificaron los valores de T4 de 125 pacientes, 32 de los cuales eran conocidos hipotiroideos (mediante gamma)

Método de curvas ROC

T4 Hipotiroideo Eutiroideo   < 5 T4 < 7 > 7 18 1 Se calcula la sensibilidad y especificidad para cada valor, mediante tablas de 2x2.

Nuestro punto de corte definira quién se tomará como “positivo” y “negativo” > 5

Total

: 14 32 Sensibilidad: 0.56 Especificidad: 0.99

92 93 Hipotiroideo 25 7 Eutiroideo 18 75

Total

: 32 93 Sensibilidad: 0.78 Especificidad: 0.81

Método de curvas ROC

 Conociendo estos valores, se puede elaborar la gráfica

7 9 Punto corte Sensibilidad 5 0.56

0.78

0.91

Especificidad 0.99

0.81

0.42

Método de curvas ROC

 Área bajo la curva  El área bajo la curva se puede emplear para conocer en forma simple la exactitud global se una prueba   Area total hacia la izq= 1 (prueba perfecta) Area de la diagonal= 0.5

 Entre más cercana a 1, la prueba es mejor  Permite hacer comparaciones entre pruebas

Método de curvas ROC

     0.90-1 = excelente 0.80-0.90 = bueno 0.70-0.80 = regular 0.60-0.70 = pobre 0.50-0.60 = fallida

Eficiencia de las pruebas diagnósticas

Juan José Romero Zúñiga, DMV, MSc, PhD Programa de Investigación en Medicina Poblacional Escuela de Medicina Veterinaria Universidad Nacional

Prevalencia verdadera

 Es la proporción de individuos realmente enfermos (o positivos a la prueba de oro) dentro del total de la población estudiada

Prueba Diagnóstica Realmente enfermos + + a c b d a+c b+d a+b c+d a+b+c+d

Prevalencia verdadera= a + c a + b + c + d

Prevalencia aparente

 Es la proporción de individuos positivos a la prueba diagnóstica, dentro del total de la población estudiada

Prueba Diagnóstica Realmente enfermos + + a c b d a+c b+d a+b c+d a+b+c+d

Prevalencia aparente= a + b a + b + c + d

Efecto de la Se y Sp de la prueba sobre la prevalencia aparente PA = Total de positivos (a+b) Total de población (N)  La Se afecta directamente la cantidad de verdaderos positivos (a).

 < efecto sobre PA  La Sp afecta directamente la cantidad de falsos positivos (b).

 > efecto sobre PA

Efecto de la Se y Sp de la prueba sobre la prevalencia aparente

Efecto de la Se y Sp de la prueba sobre la prevalencia aparente

Efecto de la Se y Sp de la prueba sobre la prevalencia aparente

Efecto de la prevalencia sobre los Valores predictivos  Se y Sp definen la validez de la prueba diagnóstica  Ventajas:   son propiedades intrínsecas a la prueba diagnóstica definen la validez independientemente de cuál sea la prevalencia de la enfermedad en la población a la cual se aplica  Desventaja de que no proporcionan información relevante a la hora de tomar una decisión clínica ante un determinado resultado de la prueba.

Efecto de la prevalencia sobre los Valores predictivos  Valores predictivos  Ventaja:  Enorme utilidad a la hora de tomar decisiones clínicas y transmitir a los pacientes información sobre su diagnóstico  Desventaja  Dependen en gran medida de lo frecuente que sea la enfermedad a diagnosticar en la población objeto de estudio.

Altamente afectados por la prevalencia

Efecto de la prevalencia sobre los Valores predictivos Prevalencia baja Resultado negativo Seguridad Descarta enfermedad > VP negativo

Resultado del test Positivo Negativo Total VIH+ Verdadero diagnóstico VIH Total

5.970

30 6.000

13.970

2.780.030

2.794.000

19.940

2.780.060

2.800.000

Prevalencia = 0,21% VP + = VP- = 29,9 %

99,9 %

Se = Sp= 99,5% 99,5%

Efecto de la prevalencia sobre los Valores predictivos Prevalencia alta Resultado positivo Seguridad Asegurar enfermedad > VP positivo

Resultado del test Positivo Negativo Total VIH+ Verdadero diagnóstico VIH Total

796.000

4.000

800.000

10.000

1.990.000

2.000.000

806.000

1.994.000

2.800.000

Prevalencia = 28,6% VP + = VP- =

98,7 %

99,8 % Se = Sp= 99,5% 99,5%

Efecto de la prevalencia sobre los Valores predictivos

Efecto de la prevalencia sobre los Valores predictivos

Impacto de los VP sobre programas de control y erradicación Prevalencia baja Resultado negativo Seguridad Descarta enfermedad > VP negativo  Utilizar para tamizaje  Pruebas diagnósticas con alta Se  Altos VP especialmente el VP negativo

Ejemplo

 Un país centroamericano con quien Costa Rica tiene relaciones comerciales (importa pollo desde nuestro país) decide, ante la alerta sanitaria en Costa Rica por un caso de laringotraqueitis, retener varios contenedores con carne de esas aves y declarar el cierre de sus fronteras comerciales de esas aves con nuestro país.  Se realiza una reunión entre las direcciones de salud animal de ambos países.



Ejemplo (continuación)

 Costa Rica exige igualdad de trato, por lo que pide a ese país que demuestre que está libre de esa enfermedad.

 El director de salud animal de aquel país dice que ellos están libres de la enfermedad “… porque hemos realizado, este año, varios muestreos; llevamos muestreadas 20.000 (veinte mil) aves, les corrimos un ELISA y todas las muestras fueron negativas…”

Ejemplo (continuación)

 Qué opinión les merece la aseveración del director de salud animal de ese país?

 Por qué?

Una herramienta

 WinEpiscope

Pasos para su instalación

 Bajar el archivo de instalación de internet.

 Guardarlo en un directorio nuevo, específico para ese archivo.

 Descomprimir el archivo.

 Hacer doble click sobre el archivo “instalar.exe”.

Navegación rápida por WinEpiscope

Consideraciones finales, discusión y consultas.