Transcript Sesgos de informe - Cochrane Training

Efecto de los estudios pequeños
y sesgos de informe
Pasos de una
revisión sistemática Cochrane
1. Formular la pregunta
2. Planificar los criterios de elegibilidad
3. Planificar la metodología
4. Buscar los estudios
5. Aplicar los criterios de elegibilidad
6. Obtener los datos
7. Evaluar el riesgo de sesgo de los estudios
8. Analizar y presentar los resultados
9. Interpretar los resultados y obtener conclusiones
10. Mejorar y actualizar la revisión
Índice
• Identificar los efectos de los estudios pequeños
• Entender los sesgos de informe
Ver el capítulo 10 del Cochrane Handbook
cochrane training
Repaso: el error aleatorio
Error
aleatorio
• En un grupo de estudios que estima
un efecto, cada estudio presenta un
error aleatorio
• Los resultados estarán dispersos
alrededor del efecto real –en
menor o en mayor grado
Estimación
del efecto Efecto
real
Fuente: Julian Higgins
cochrane training
Error aleatorio y los estudios pequeños
• El error aleatorio asume que:
• Los estudios pequeños serán menos precisos que los
estudios de mayor tamaño
• Los estudios pequeños estarán dispersos de forma más
amplia alrededor de la media
• Efectos de los estudios pequeños
• Cuando los estudios pequeños son consistentemente más
positivos o negativos que los estudios de mayor tamaño
• Un posible tipo de heterogeneidad
• Puede haber muchas explicaciones
cochrane training
Identificando el efecto
de los estudios pequeños
• Evaluar cada desenlace por separado
• Métodos disponibles:
• gráfico de embudo (“funnel plot”)
• pruebas estadísticas
• análisis de sensibilidad
• Proceder con cautela y obtener apoyo estadístico
experto
cochrane training
Gráficos de embudo
• Representan el tamaño del efecto contra el tamaño del
estudio
• El tamaño del estudio usualmente se representa mediante
una medida de la varianza como el error estándar
• Los estudios estarán dispersos alrededor de un efecto
estimado
• Los estudios más grandes estarán arriba, los pequeños abajo
• Los estudios pequeños tienen una dispersión más amplia
• Un gráfico simétrico lucirá como un embudo invertido o un
triángulo
• El software RevMan puede generar gráficos de embudo
• Sólo es apropiado con ≥ 10 estudios de distintos tamaños
cochrane training
Gráfico de embudo simétrico
Error estándar
0
1
2
3
0.1
0.33
0.6
Efecto
Fuente: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
Gráfico de embudo asimétrico
Error estándar
0
1
Estudios no
publicados
2
3
0.1
0.33
0.6
Efecto
Fuente: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
Gráfico de embudo asimétrico
Error estándar
0
1
Estudios
pequeños con
efecto positivo
2
3
0.1
0.33
0.6
Efecto
Fuente: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
Coloides vs cristaloides
para resucitación con líquidos
Muerte
Adaptado de Perel P, Roberts I. Colloids versus crystalloids for fluid resuscitation in
critically ill patients. Cochrane Database of Systematic Reviews 2011, Issue 3.
cochrane training
Magnesio para infarto al miocardio
Adaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute
myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
Causas de asimetría
en un gráfico de embudo
• Azar
• Artefactos
• Algunos estadísticos se correlacionan con el error estándar,
e.g. OR
• Variabilidad clínica
• Diferentes poblaciones en estudios pequeños
• Diferente implementación en estudios pequeños
• Variabilidad metodológica
• Mayor riesgo de sesgo en los estudios pequeños
• Sesgos de informe
cochrane
Fuente: Egger M et al. Bias in meta-analysis detected by a simple, graphical test.
BMJ 1997; training
315: 629
Gráficos de embudo
de contorno mejorado
Fuente: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot
asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
cochrane training
Asimetría debida a heterogeneidad
Fuente: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot
asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
cochrane training
Pruebas para evaluar asimetría
en el gráfico de embudo
• ¿Existe una asociación mayor a lo esperado por el azar
entre el tamaño del estudio y el efecto de la intervención?
• Se recomiendan tres pruebas :
• Generalmente poco poder para descartar sesgo de informe
• Usar además la inspección visual del gráfico de embudo
• Sólo apropiado si se tienen ≥ 10 estudios de tamaño
variado
Ver Sección 10.4.3 del Cochrane Handbook
cochrane training
Análisis de sensibilidad
• Si se detecta efecto de los estudios pequeños ¿cómo
impacta en los resultados?
• Consultar a un estadístico antes de proceder
• Si existe heterogeneidad (I2 > 0), comparar las estimaciones
obtenidas a partir de un modelo de efectos fijos y uno de
efectos aleatorios
• ¿Hay diferencias?
• De ser así, ¿existe alguna razón para que la intervención sea
más efectiva en los estudios pequeños?
• Modelos de selección y otros métodos
cochrane training
Análisis de sensibilidad
Adaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute
myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
Índice
• Identificar los efectos de los estudios pequeños
• Entender los sesgos de informe
Ver el capítulo 10 del Cochrane Handbook
cochrane training
La diseminación de la evidencia
No
disponible
(sin publicar)
Fuente: Matthias Egger
Disponible
en principio
(tesis,
conferencia,
revista
pequeña)
Fácilmente
accesible
(Indexado en
Medline)
Diseminada
activamente
(noticias,
compañías
farmacéuticas)
Sesgos de informe
• La diseminación de los hallazgos de investigación está
influenciada por la naturaleza y dirección de los resultados
• Es más probable publicar resultados ‘positivos’
estadísticamente significativos …
• …por lo tanto es más probable que sean incluidos en una
revisión
• Esto resulta en efectos exagerados
• Es más probable que estudios grandes se publiquen de
todas formas, así que los estudios pequeños serán los
afectados
• Los resultados no significativos son tan importantes para la
revisión como los resultados significativos
cochrane training
Evidencia del sesgo de informe
Proporción de
estudios no
publicados
Significativos
Tendencia no significativa
Nulos
Años desde su inicio
Fuente: Stern JM, Simes RJ. Publication bias: evidence of delayed publication in
a cohort study of clinical research projects BMJ 1997;315:640-645.
cochrane training
Es más probable que los estudios positivos sean
• Enviados a publicar…
Concebidos
• …y aceptados (sesgo de publicación “publication
bias”)
• …rápidamente (sesgo de lapso de tiempo “time
Realizados
lag bias”)
• …como más de una publicación (sesgo de
publicación múltiple “multiple publication bias)
Enviados
• …en inglés (sesgo de lenguaje “language bias”)
• …en revistas con alto factor de impacto e
indexadas (sesgo de ubicación “location bias”)
Publicados
• …incluyen desenlaces positivos (informe
selectivo de desenlaces)
Citados
Fuente: Julian Higgins
• …y son citados por otros (sesgo de citación
“citation bias”)
cochrane training
Ejemplo: alfa bloqueantes
• Se identifican 10 ensayos clínicos midiendo diferentes
dosis
• Los ensayos deben haberse terminado y sus resultados
deben haberse enviado a las agencias reguladoras para
que la droga sea aprobada
• Se encontraron pocos ensayos
• Muchas de las dosis aprobadas por los reguladores no
tenían suficiente evidencia que apoyara su uso
• Para algunas dosis no había datos publicados
Fuente: Nancy Santesso and Holger Schünemann. Based on Heran BS, Galm BP, Wright JM. Blood pressure lowering
efficacy of alpha blockers for primary hypertension. Cochrane Database of Systematic Reviews 2009, Issue 4
cochrane training
Ejemplo: antidepresvios
Fuente: Moreno, S. G., A. J. Sutton, et al. Novel methods to deal with publication biases: secondary analysis of
antidepressant trials in the FDA trial registry database and related journal publications. BMJ 2009, 339.
cochrane training
Impacto del sesgo de publicación
Hopewell S, McDonald S, Clarke MJ, Egger M. Grey literature in meta-analyses of randomized
trials of health care interventions. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
¿Qué implica esto para mi revisión?
• Prevención
• Una búsqueda exhaustiva en múltiples fuentes
• Literatura gris, literatura no escrita en inglés, búsqueda manual
• Registros de ensayos clínicos
• Diagnóstico
• Considerar identificar efectos de los estudios pequeños
• Análisis de sensibilidad para identificar el posible impacto
• Sesgo de publicación no es siempre la única explicación
• No existe cura
• Explorar cualquier efecto observado de estudios pequeños
• También se espera que comentes sobre la probabilidad de
sesgos de informe
cochrane training
¿Qué incluir en tu protocolo?
• Evaluación de sesgos de informe
• Uso opcional de gráficos de embudo y pruebas estadísticas
para detectar asimetría
cochrane training
Puntos clave
• Busca el efecto de estudios pequeños en tu revisión
• Sé consciente de las posibles causas
• Considera el posible impacto del sesgo de informe en tu
revisión
• Siempre que exista la duda, consulta a un experto en
estadística
cochrane training
Referencias
•
•
•
Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases.
In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of
Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration,
2011. Available from www.cochrane-handbook.org.
Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ
1997; 315: 629
Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and
interpreting funnel plot asymmetry in meta-analyses of randomised controlled
trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
Agradecimientos
•
•
Compilado por Miranda Cumpston. Basado en los materiales de: Jonathan Sterne,
Matthias Egger, Julian Higgins, David Moher, Nancy Santesso, Holger Schünemann,
the Cochrane Bias Methods Group, the Australasian Cochrane Centre and the
Cochrane Applicability and Recommendations Methods Group. Aprobado por el
Cochrane Methods Board
Traducido por Carlos Cuello , Marta Roquè y Jesús López-Alcalde
cochrane training