Transcript Explorando la heterogeneidad

Explorando la
heterogeneidad
Pasos de una revisión sistemática Cochrane
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Formular la pregunta
Planificar los criterios de elegibilidad
Planificar la metodología
Buscar los estudios
Aplicar los criterios de elegibilidad
Obtener los datos
Evaluar el riesgo de sesgo de los estudios
Analizar y presentar los resultados
Interpretar los resultados y obtener conclusiones
Mejorar y actualizar la revisión
cochrane training
Índice
•
•
•
•
¿Qué es la heterogeneidad?
Asunciones sobre la heterogeneidad
Identificando la heterogeneidad
Explorando los resultados
Ver el capítulo 9 del Handbook
cochrane training
¿Qué es la heterogeneidad?
Variación o diferencias
• Tres grandes tipos:
• clínica
• metodológica
• estadística
cochrane training
Diversidad clínica
• Participantes
• e.g. condición, edad, género, ámbito, criterios de
elegibilidad del estudio
• Intervenciones
• intensidad/dosis, duración, modo de administración, cointervenciones, experiencia profesional, control (placebo,
ninguno, tratamiento habitual)
• Desenlaces
• duración del seguimiento, modo de medición, definición
del suceso de interés, puntos de corte
cochrane training
Diversidad metodológica
• Diseño
• e.g. aleatorizado vs no aleatorizado, cruzado vs paralelo,
aleatorización individual vs por conglomerados
• Realización
• e.g. riesgo de sesgo (ocultación de la asignación,
enmascaramiento, etc.), estratégia de análisis
cochrane training
Heterogeneidad estadística
• Siempre existirá cierta variabilidad aleatoria (muestral)
entre los resultados de distintos estudios
• La heterogeneidad es la variabilidad entre los efectos
evaluados en los distintos estudios
• Causada por diversidad clínica y metodológica
• Alternativa a la homogeneidad (la intervención tiene el
mismo efecto en todos los estudios)
• Los resultados de los estudios difieren más unos de otros
que si la variabilidad aleatoria fuera la única fuente de las
diferencias entre estimaciones de efecto de la intervención
cochrane training
Índice
•
•
•
•
¿Qué es la heterogeneidad?
Asunciones sobre la heterogeneidad
Identificando la heterogeneidad
Explorando los resultados
cochrane training
Efectos fijos vs efectos aleatorios
• Hay dos modelos de metanálisis disponibles en RevMan
• Se basan en asunciones diferentes sobre la
heterogeneidad
• Es necesario pre-specificar en el protocolo la estratégia
prevista
cochrane training
Modelo de efectos fijos
Error aleatorio
(muestral)
• Asume que todos los
estudios miden un mismo
efecto del tratamiento
• Estima este efecto único
• Si no hubiera error aleatorio
(muestral), todos los
resultados serían idénticos
Resultado
del estudio
Fuente: Julian Higgins
Efecto real
común
cochrane training
Modelo de efectos aleatorios
Error aleatorio
• Asume que el efecto del
tratamiento varía entre
estudios
• Estima el promedio de la
distribución de los efectos
• Pondera por la variabilidad
intra-estudio y entre-estudio
(tau2, 2)
Efecto
específico
del estudio
Fuente: Julian Higgins
Promedio de los
efectos de los estudios
cochrane training
¿Cuál es la diferencia?
• Los metanálisis de efectos aleatorios son:
• Casi idénticos a los de efectos fijos cuando no hay
heterogeneidad
• Similares a los de efectos fijos pero con intervalos de
confianza más amplios cuando existe heterogeneidad del tipo
asumido por el modelo de EA
• Diferentes a los de efectos fijos cuando los resultados están
relacionados al tamaño de los estudios
• El modelo EA da más peso a los estudios más pequeños que EF
1
1
peso 

2
2
varianza intra  varianza entre
ES  tau
cochrane training
Sin heterogeneidad
Fixed
Random
Adaptado de Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in
preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.
cochrane training
Cierta heterogeneidad
Fixed
Adaptado de Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus
placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.
Random
cochrane training
Impacto de los estudios pequeños
Fixed
Adaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute
myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
Random
cochrane training
¿Cuál elegir?
• Planificar la estrategia en la etapa de protocolo
• ¿Es razonable esperar que los resultados sean muy
diversos?
• Considerar las asunciones subyacentes a cada modelo
• Efectos fijos
• Puede ser poco realista– ignora la heterogeneidad
• Efectos aleatorios
• Permite la heterogeneidad
• La estimación de la distribución de efectos puede ser poco
precisa si existen sesgos, hay pocos estudios o pocos eventos
cochrane training
Índice
•
•
•
•
¿Qué es la heterogeneidad?
Asunciones sobre la heterogeneidad
Identificando la heterogeneidad
Explorando los resultados
cochrane training
Identificando la heterogeneidad
• Inspección visual de los gráficos de árbol (forest plots)
• Test de chi-cuadrado (c2, Q test)
• Estadístico I2 para cuantificar la heterogeneidad
cochrane training
Inspección visual
Forest plot A
Forest plot B
cochrane training
El test de chi-cuadrado (c2)
• Contrasta la hipótesis nula de homogeneidad
• Tiene poca potencia si hay pocos estudios
• Puede detectar diferencias clínicamente irrelevantes si hay
muchos estudios
• Respuesta dicotómica (si/no) poco útil si la heterogeneidad es
inevitable
• Calculado automaticamente por RevMan
cochrane training
El estadístico I2
• El estadístico I2 describe el porcentaje de variabilidad
debida a heterogeneidad y no al azar (0% a 100%)
• Valores bajos indican poca o nula heterogeneidad
• Valores altos indican elevada heterogeneidad
• Calculado automaticamente por RevMan
• Debe interpretarse cautelosamente
cochrane training
El estadístico I2
cochrane training
Fuente: Julian Higgins
chi2 = 29.55 df = 13 P = 0.0055
I2 = 56%
chi2 = 6.14 df = 3 P = 0.11
I2 = 51%
¿Qué hacer con la heterogeneidad?
• Comprobar que los datos son correctos
• Tenerla en cuenta en la interpretación de los resultados
• Especialmente si varía la dirección del efecto
• Si la heterogeneidad es muy elevada
• Interpretar con cautela los resultados de efectos fijos
• Considerar análisis de sensibilidad – ¿el modelo de efectos
aleatorios significaría diferencias importantes?
• Se puede optar por no metanalizar
• El resultado promedio puede no tener significado en la práctica
• Considerar la comparabilidad clínico-metodológica de los estudios
• Evitar
• Cambiar la medida de efecto o el modelo de análisis
• Excluir estudios con valores extremos
• Explorar la heterogeneidad
cochrane training
Índice
•
•
•
•
¿Qué es la heterogeneidad?
Asunciones sobre la heterogeneidad
Identificando la heterogeneidad
Explorando los resultados
cochrane training
Explorando los resultos
• ¿Qué factores parecen modificar el efecto?
• Diversidad clínica (población, intervenciones, desenlaces)
• Diversidad metodológica (diseño de los estudios, riesgo de
sesgo)
• Planificar la estrategia en el protocolo
• Identificar un número limitado de factores importantes a
investigar
• Presentar una justificación científica para cada factor elegido
• Declarar cualquier exploración post-hoc
cochrane training
Dos opciones disponibles
• Análisis de subgrupos
• Agrupar los estudios por factores pre-especificados
• Buscar diferencias en los resultados y la heterogeneidad
• Metaregresión
• Examinar la interacción de variables categóricas y continuas
• No disponible en RevMan
cochrane training
Proceder con cautela
•
•
•
•
•
•
Los resultados son de tipo observacional, no aleatorio
Ser crítico ante comparaciones múltiples y post hoc
Pueden no ser útiles con pocos estudios
Pueden no ser posibles de realizar con datos agregados
Buscar posibles factores de confusión
Seguir el plan especificado en el protocolo sin sobreenfatizar resultados específicos
Los resultados raramente son concluyentes
cochrane training
Interpretación de análisis de subgrupos
• Examinar los resultados y heterogeneidad dentro de los
subgrupos
• ¿Los subgrupos son genuinamente diferentes?
• Si son 2 subgrupos – ¿los intervalos de confianza se solapan?
• Tests estadísticos de diferencias por subgrupos
• Crece la confianza en los resultados si:
• Los análisis son pre-especificados
• Los análisis se basan en datos intra-estudios
• Efecto clinicamente plausible y apoyado por evidencia
indirecta
• Efecto clinicamente importante y modificará recomendaciones
cochrane training
Subgrupos de participantes
cochrane training
Basado en Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of
Systematic Reviews 2008, Issue 1. Art. No.: CD000146. DOI: 10.1002/14651858.CD000146.pub3.
Basado en Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of
Systematic Reviews 2008, Issue 4. Art. No.: CD000448. DOI: 10.1002/14651858.CD000448.pub3.
Subgrupos por intervención
cochrane training
Análisis de sensibilidad
• No es lo mismo que análisis de subgrupos
• Testea el impacto de decisiones tomadas en la revisión
•
•
•
•
•
•
Inclusión de estudios en la revisión
Definición de bajo riesgo de sesgo
Elección de la medida de efecto
Asunciones sobre datos faltantes
Puntos de corte para dicotomizar escalas ordinales
Coeficientes de correlación
• Repite los análisis aplicando un método o asunción distintos
• No presentar múltiples forest plots – solo redactar resultados
• Si mínimas diferencias, mayor confianza en las conclusiones
• Si diferencias grandes, interpretar los resultados
cochranecautamente
training
¿Qué incluir en el protocolo?
• Valoración de la heterogeneidad
• Valoración de la comparabilidad entre estudios previa al
metanálisis
• Inspección visual y uso de estadísticos como el I2
• Síntesis de datos
• Modelo de efectos fijos o aleatorios (o ambos)
• Análisis de subgrupos y exploración de la heterogeneidad
• Planificación de análisis de subgrupos
• Otras estrategias para investigar la heterogeneidad
cochrane training
cochrane training
Mensaje clave:
• Heterogeneidad estadística es la presencia de diferencias
entre estimaciones del efecto de la intervención, mayores que
las que serían esperables sólo por variabilidad aleatoria
(muestral) .
• Puede ser causada por diversidad clínica y metodológica
• Los modelos de efectos fijos y aleatorios se basan en
asunciones sobre la heterogeneidad
• Debe explorarse toda heterogeneidad hallada
cochrane training
Referencias
•
Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and
undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook
for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The
Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
Agradecimientos
• Compilado por Miranda Cumpston. Basado en materiales de Georgia Salanti, Julian
Higgins, Steff Lewis, el Cochrane Statistical Methods Group, el Australasian Cochrane
Centre y el Dutch Cochrane Centre. Aprobado por el Cochrane Methods Board.
• Traducido por Marta Roqué.
cochrane training