Transcript Evaluación riesgo sesgo

Evaluación del riesgo de
sesgo de los estudios
incluidos
Pasos de una revisión
sistemática Cochrane
1. Formular la pregunta
2. Planificar los criterios de elegibilidad
3. Planificar la metodología
4. Buscar los estudios
5. Aplicar los criterios de elegibilidad
6. Obtener los datos
7. Evaluar el riesgo de sesgo de los estudios
8. Analizar y presentar los resultados
9. Interpretar los resultados y obtener conclusiones
10. Mejorar y actualizar la revisión
cochrane training
Índice
•
•
•
•
Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo
Llevándolo a la práctica: tablas de “riesgo de sesgo”
Incorporación de los hallazgos en la revisión
Ver el Capítulo 8 del Cochrane Handbook
cochrane training
¿Qué es el sesgo?
Error sistemático o desviación de la verdad
• Las revisiones sistemáticas dependen de los estudios
incluidos
• Estudios incorrectos = revisiones con resultados engañosos
• ¿Nos podemos creer los resultados?
• Evaluar el riesgo de sesgo de cada estudio
• No podemos medir la presencia de sesgo
• Los sesgos pueden sobreestimar o subestimar el efecto
• Debemos buscar métodos que minimizan el riesgo de sesgo
cochrane training
Sesgo no es lo mismo que
Imprecisión
• Error aleatorio
debido a
variaciones en el
muestreo
• Se refleja en el
intervalo de
confianza
Calidad
Informe
• Estudios desarrollados • Puede que los
correctamente también
métodos utilizados
pueden estar sesgados
sean apropiados,
• No todas las debilidades pero que éstos no
metodológicas
estén descritos
introducen sesgos
adecuadamente
cochrane training
Escalas de calidad
y listas de verificación (checklists)
•
•
•
•
•
•
Hay muchas escalas disponibles
No hay evidencia empírica que avale su uso
Diferentes escalas llegan a diferentes conclusiones
Pueden incluir criterios no relacionados con el sesgo
La ponderación numérica no está justificada
Puntuaciones difíciles de interpretar por los lectores
Las revisiones Cochrane no deben utilizar escalas de calidad
cochrane training
Herramienta de la Colaboración Cochrane
para evaluar el “riesgo de sesgo”
• Valora 7 dominios apoyados por evidencia científica
• Valoración de los revisores:
 Bajo riesgo de sesgo
 Alto riesgo de sesgo
? Riesgo de sesgo poco claro
• Apoyo para la valoración
• Pruebas/citas del artículo o de otras fuentes
• Explicación del autor de la revisión
cochrane training
Dominios a evaluar
•
•
•
•
•
•
•
Generación de la secuencia aleatoria
Ocultamiento de la asignación
Cegamiento de los participantes y del personal
Cegamiento de los evaluadores del resultado
Datos de resultado incompletos
Notificación selectiva de los resultados
Otras fuentes de sesgo
Es IMPRESCINDIBLE consultar el Manual Cochrane
antes de realizar la evaluación del riesgo de sesgo
cochrane training
¿Qué ocurre con los estudios
no-aleatorizados?
• El riesgo de sesgo también debe evaluarse cuidadosamente
• El revisor puede querer añadir dominios a evaluar
• El revisor puede utilizar otro instrumento que sea apropiado
• El Grupo de Revisión puede tener una opción recomendada
Ver Sección 13.5 del Manual Cochrane
cochrane training
Índice
•
•
•
•
Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo
Llevándolo a la práctica: tablas de “riesgo de sesgo”
Incorporación de los hallazgos en la revisión
Ver el Capítulo 8 del Cochrane Handbook
cochrane training
Fuentes de sesgo
Generación aleatoria
de la secuencia
Selección
e
Realización
Ocultación de la
secuencia
Población diana
Asignación
Grupo Intervención Grupo Control
Detección
Desgaste
Evaluación del
resultado
Evaluación del
resultado
Notificación
Publicación de los resultados
cochrane training
Generación de la secuencia aleatoria
• Se realiza al inicio del estudio, antes de la asignación de los
participantes a los grupos de estudio
• Evita el sesgo de selección
• Determina un orden de asignación aleatorio de los
participantes al grupo intervención y control
• Evita diferencias sistemáticas entre los grupos
• Tiene en cuenta los factores de confusión conocidos y
desconocidos
cochrane training
Generación de la secuencia aleatoria
Bajo riesgo – no predecible
• Tabla de números aleatorios
• Generación de números aleatorios por ordenador
• Aleatorización estratificada o en bloque
• Minimización
• Recursos más rudimentarios - lanzamiento de una
moneda, barajar cartas o sobres, lanzar dados, sorteo de
tarjetas
Alto riesgo – predecible
• Método cuasi-aleatorio – fecha de nacimiento, día de
visita, identificador o número de registro, alternancia
• Método no-aleatorio – elección por parte del clínico o del
paciente, resultados de pruebas, disponibilidad
Ver Sección 8.9 del Cochrane Handbook cochrane training
Ocultamiento de la secuencia
• Ocurre al inicio del estudio, durante la asignación de los
participantes
• Evita el sesgo de selección
• Cuando una persona es reclutada para el estudio nadie
puede predecir a qué grupo será asignada
• Asegura una implementación estricta de la secuencia de
aleatorización
• Previene cambios de orden
• Previene seleccionar los participantes a los que reclutar
cochrane training
Ocultamiento de la secuencia
Bajo riesgo – no predecible
•Asignación centralizada (teléfono, página web, servicio de farmacia
)
•Sobres opacos, sellados y numerados de manera secuencial
•Envases de fármaco idénticos y numerados de manera secuencial
Alto riesgo- predecible
•Secuencia conocida previamente por parte del personal
•Sobres o envases sin una protección apropiada
•Secuencia no aleatoria, predecible
Ver Sección 8.10 del Cochrane Handbook cochrane training
Fuentes de sesgo
Población diana
Selección
Realización
Asignación
Cegamiento de
participantes,
personal
Grupo Intervención Grupo Control
Detección
Desgaste
Evaluación
del resultado
Evaluación
del resutlado
Notificación
Publicación de los resultados
cochrane training
Cegamiento de los participantes y del personal
• Evita el sesgo de realización
• Trato diferente a los grupos del estudio
• Diferentes expectativas de los participantes
• Puede conducir a cambios en los propios resultados
• Evaluar de forma cuidadosa
• Evitar términos como “simple ciego” y “doble ciego”
• ¿Es probable que el cegamiento se rompiera?
• Considerar el impacto, incluso aunque el cegamiento no
sea factible para una determinada intervención
cochrane training
Cegamiento de los participantes y del personal
Bajo riesgo
• El cegamiento es correcto y es poco probable que se haya
roto
• Falta de cegamiento o cegamiento incompleto, pero no
es probable que influya en los resultados
Alto riesgo
• Falta de cegamiento, cegamiento incompleto o roto, y es
probable que influya en los resultados
Ver Sección 8.11 del Cochrane Handbook cochrane training
Fuentes de sesgo
Población diana
Selección
Asignación
Grupo Intervención Grupo Control
Realización
Detección
Cegamiento de los
evaluadores de los
resultados
Desgaste
Evaluación
del resultado
Evaluación
del resutlado
Notificación
Publicación de los resultados
cochrane training
Cegamiento de los evaluadores
de los resultados
• Evita el sesgo de detección
• Conocer la intervención recibida puede afectar la medición
de los resultados
• Evaluar de forma cuidadosa
• Evitar términos como “simple ciego” y “doble ciego”
• ¿Es probable que el cegamiento se rompiera?
• Puede ser factible incluso cuando no es posible cegar a los
participantes y al personal
• Recordar que tanto los participantes como el personal
pueden ser evaluadores del resultado
cochrane training
Cegamiento de los evaluadores de los
resultados
Bajo riesgo
• El cegamiento es correcto y es poco probable que se haya
roto
• Falta de cegamiento, pero no es probable que influya en
la evaluación de los resultados
Alto riesgo
• Falta de cegamiento o cegamiento roto, y es probable
que influya en la evaluación de los resultados
Ver Sección 8.12 del Cochrane Handbook cochrane training
Evaluación del cegamiento
en cada variable resultado
• Se puede alcanzar conclusiones distintas según la variable
resultado
• Puede que sólo sea ciega la medida de algunos resultados
• Los desenlaces subjetivos pueden ser más vulnerables a este
tipo de sesgo. Ej. muerte vs calidad de vida
• Puede aplicarse tanto al sesgo de realización como al sesgo
de detección
• Una opción es recoger en la tabla la evaluación de dos o
más variables de resultado para estas categorías
cochrane training
Fuentes de sesgo
Población diana
Selección
Asignación
Grupo Intervención Grupo Control
Realización
Detección
Desgaste
Datos de resultado
incompletos
Evaluación
del resultado
Evaluación
del resutlado
Notificación
Publicación de los resultados
cochrane training
Datos de resultado incompletos
• Cuando no se dispone de datos completos de los resultados para
todos los participantes
• Desgaste (attrition)– pérdidas durante el seguimiento (loss to follow
up), abandono (withdrawals), otros datos faltantes
• Exclusiones (exclusions)– algunos datos disponibles no están
descritos en el informe
• Puede dar lugar a un sesgo de desgaste (attrition bias)
• Consideraciones:
• ¿Cuántos datos de resultado incompletos por cada grupo? (incluir
números en la descripción)
• ¿Motivos de los datos de resultado incompletos?
• ¿Cómo se analizaron los datos?
cochrane training
¿Cuándo son demasiados los datos faltantes?
• No existe una regla simple
• Si son suficientes para afectar de forma relevante los
resultados
• Proporción total de datos faltantes
• Riesgo de evento (resultados dicotómicos)
• Posible tamaño del efecto (resultados continuos)
• Cuando las razones pueden estar relacionadas con los
resultados del estudio
• Ej. recuperación, eventos adversos, rechazos
• Las razones pueden tener significados diferentes en cada grupo
• Existe un desequilibrio entre los grupos en cuanto a los datos
faltantes o sus razones
cochrane training
Análisis por intención de tratar
• Todos los participantes se analizan en el grupo al que fueron
aleatorizados
• A pesar de lo que haya ocurrido durante el estudio
• Temas que pueden surgir
• Análisis por protocolo
• Los participantes no cumplidores se excluyen del análisis
• Análisis “como se trató”
• Los participantes no cumplidores cambian de grupo
• Imputación de valores faltantes
• Las asunciones pueden ser inapropiadas- consultar con un
estadístico
• Es posible re-incluir algunos datos excluidos
cochrane training
Evaluación de los datos incompletos
para cada resultado
• Se puede llegar a conclusiones diferentes para cada resultado
• Puede haber más datos faltantes en distintos puntos
temporales
• Algunos resultados pueden tener más datos faltantes que otros
. Ej. preguntas sensibles, pruebas invasivas
• Una opción es recoger en la tabla la evaluación de dos o más
variables de resultado para “datos incompletos”
cochrane training
Datos de resultado incompletos
Bajo riesgo
• Se dispone de los datos completos para todos los resultados
• Las razones que han motivado la falta de datos no se relacionan con el
resultado
• Cantidad de datos de resultado faltantes equilibrados entre los grupos de
intervención, y con motivos similares;
• La proporción de datos faltantes o su posible efecto no es suficiente para tener
un impacto clínicamente relevante
Alto riesgo
• Razones relacionadas con los desenlaces, y desequilibrio en el número de
datos faltantes o en las razones que han provocado los datos faltantes
• La proporción de datos faltantes es suficiente para tener un efecto
clínicamente relevante
• Análisis “como se trató” con diferencias importantes respecto a la
aleatorización
• Uso inapropiado de los métodos de imputación
Ver Sección 8.13 del Cochrane Handbook cochrane training
Fuentes de sesgo
Población diana
Selección
Asignación
Grupo Intervención Grupo Control
Realización
Detección
Desgaste
Notificación
Notificación selectiva
de los resultados
Evaluación
del resultado
Evaluación
del resutlado
Publicación de los resultados
cochrane training
Notificación selectiva de los resultados
• Puede dar lugar a un sesgo de notificación
• Es más probable que se describan los resultados
estadísticamente significativos
• Tal como estaba planificado en el protocolo del estudio
• Con mayor detalle
• Sesgo difícil de determinar
• Comparar los métodos con los resultados y buscar:
• Resultados medidos (o probablemente medidos) pero no notificados
• Resultados añadidos, cambios estadísticos, sólo subgrupos
• Descripciones que no pueden utilizarse en una revisión
(Ej. decir que no hay diferencias estadísticamente significativas sin
aportar resultados numéricos)
• Referencia al protocolo de estudio o al registro del ensayo
• Centrarse en los resultados de interés para la revisión
cochrane training
Notificación selectiva de los resultados
Bajo riesgo
• Se dispone del protocolo de estudio y todos los resultados de interés de
la revisión están descritos de la forma prevista en el protocolo
• No disponemos del protocolo, pero está claro que se notifican todos los
resultados esperables y especificados previamente
Riesgo poco claro
• La mayor parte de los estudios entrarán en está categoría
Alto riesgo
• Resultados no descritos como estaba pre-especificado o era esperable
• Ej. perdidos, añadidos, subconjuntos, medidas o métodos no esperados
• Resultados descritos de forma incompleta por lo que no pueden
utilizarse en un metanálisis
Ver Sección 8.14 del Cochrane Handbook cochrane training
Otras fuentes de sesgo
• Se requiere una justificación clara de por qué un factor puede
ser causa de sesgo
• No incluir:
• Imprecisión (Ej. tamaño de la muestra pequeño)
• Heterogeneidad (Ej. dosis inadecuada, población inusual)
• Otras medidas de calidad (Ej. aprobación por el comité de ética,
financiación)
• Siempre que sea posible, identificar factores importantes en
el protocolo
• Se pueden añadir filas en la tabla para evaluar factores
importantes para todos los estudios
cochrane training
Otras fuentes de sesgo
Bajo riesgo
• El estudio parece no estar afectado por otras fuentes de sesgo
Alto riesgo
• Factores ligados a diseño de estudio específicos:
• Efecto de arrastre (carry-over) en los ensayos cruzados
• Sesgo de reclutamiento en los ensayos aleatorizados por
conglomerados (cluster-randomised trials)
• Estudios no aleatorios
• Desequilibrio inicial entre los grupos
• Asignación por bloques en ensayos no cegados
• Actividad diagnóstica diferencial
• Otros sesgos
Ver Sección 8.15 del Cochrane Handbook cochrane training
Índice
•
•
•
•
Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo
Llevándolo a la práctica: tablas de “riesgo de sesgo”
Incorporación de los hallazgos en la revisión
Ver el Capítulo 8 del Cochrane Handbook
cochrane training
Cómo hacer la evaluación del
riesgo de sesgo
• Como mínimo dos evaluadores
• Asegurar que los evaluadores conocen los métodos
• Incluir expertos en contenido y metodólogos
• Pilotar en 3-6 estudios para comprobar la consistencia de
la evaluación
• Definir de antemano cómo resolver los desacuerdos
• Buscar la información faltante en la publicación:
• Protocolo de estudio
• Contactar con los autores
cochrane training
Tablas de ‘Riesgo de sesgo’
• Una tabla para cada estudio incluido
• Decisión para cada dominio
 Bajo riesgo
 Alto riesgo - considerar el sesgo material, en lugar de cualquier
sesgo
 ? Riesgo poco claro = no se dispone de suficiente información
para emitir un juicio claro
• Apoyo a la decisión
• Se pueden utilizar citas directas del artículo
• Comentarios adicionales
• Justificar cualquier asunción (ej., “probablemente se realizó
correctamente”)
• Si no se dispone de información, notificarlo de forma explícita
cochrane training
cochrane training
Índice
•
•
•
•
Riesgo de sesgo en las revisiones sistemáticas
Evaluación de las fuentes de sesgo
Llevándolo a la práctica: tablas de “riesgo de sesgo”
Incorporación de los hallazgos en la revisión
Ver el Capítulo 8 del Cochrane Handbook
cochrane training
Priorizar los dominios para la revisión
• Todas las revisiones evalúan todos los dominios, pero puede
seleccionar uno o varios como prioritarios para la revisión
• Especificarlo en el protocolo
• Justificarlo, considerando:
• Evidencia empírica del impacto del sesgo
• Dirección probable del impacto del sesgo:
• Los sesgos probablemente exageran el efecto
• En caso que el sesgo subestime el efecto y observemos un efecto
relevante, tiene menos importancia
• Magnitud probable del impacto del sesgo en relación al efecto
observado
Ver Cochrane Handbook Secciones 8.5-8.14cochrane training
Realizar una interpretación global
• No intentar resumir todos los resultado y todos los estudios a la
vez
• Resumir por desenlace
• Cada desenlace puede tener su evaluación propia del riesgo
de sesgo (ej. cegamiento, datos de resultado incompleto)
• No todos los estudios aportan información a cada desenlace
• Empezar resumiendo el riesgo de sesgo dentro de cada
estudio y luego entre los estudios
• No agrupar los estudios de riesgo “poco claro” con los estudios
de “bajo riesgo” sin una justificación
cochrane training
Incorporar los hallazgos a la revisión
• Hacer siempre una descripción narrativa
• Puede que los lectores no la lean
• No evalúa el impacto en los resultados
• Se puede restringir el análisis principal a los estudios con
bajo riesgo de sesgo
• Basado en dominios clave elegidos de forma razonada
(aunque arbitraria)
• Hacer siempre un análisis de sensibilidad
• Se puede presentar un análisis estratificado
• También podemos explorar el impacto mediante:
• Análisis de subgrupos
• Meta-regresión – obtener asesoría estadística
cochrane training
Resumen del riesgo de sesgo
cochrane training
Gráfico del riesgo de sesgo
cochrane training
¿Qué se debe incluir en el protocolo?
• Consultar las normas del Grupo Cochrane de Revisión
• Breve descripción de la herramienta Cochrane que se
utilizará para evaluar el riesgo de sesgo
• Listar los dominios
• Referenciar el capítulo 8 del Cochrane Handbook
•
•
•
•
Más de un autor evaluará el riesgo de sesgo
¿Como se resolverán las discrepancias?
¿Hay dominios específicos importantes para la revisión?
¿Cómo se incorporarán los hallazgos al análisis?
cochrane training
cochrane training
Mensaje final
• Estudios sesgados pueden conducir a unas
conclusiones de la revisión engañosas
• Se evaluarán siete dominios de sesgo
• Describir detalladamente lo que ocurrió en los
estudios y hacer un juicio sobre el riesgo de sesgo
• Considerar los posibles efectos de los sesgos y ser
cautos a la hora de interpretar los resultados
cochrane training
Referencias
•
Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of
bias in included studies. In: Higgins JPT, Green S (editors). Cochrane
Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated
March 2011]. The Cochrane Collaboration, 2011. Disponible en
www.cochrane-handbook.org.
Agradecimientos
•
•
Compilado por Miranda Cumpston. Basado en los materiales de Cochrane Bias
Methods Group and the Australasian Cochrane Centre. Aprobado por the
Cochrane Methods Board
Traducido por Anna Selva, Ivan Solà y Jesús López-Alcalde
cochrane training