Transcript Válidez externa

Ensayos de no inferioridad y ensayos secuenciales
Evaluación de la validez interna y
externa de un ensayo clínico
Pere Ventayol
Servei de FarmàciaHospital Universitari Son
Dureta
Ensayos de no inferioridad y ensayos secuenciales
Para aplicar los resultados me tienen que convencer de:
VIA: Válidos, Importantes, Aplicables
 ¿son válidos?
VALIDEZ INTERNA
 ¿son importantes?
 ¿son aplicables a mis pacientes?
VALIDEZ
EXTERNA
Ensayos de no inferioridad y ensayos secuenciales
Evaluar la validez interna

validez interna: grado en que los resultados obtenidos
proporcionan o no una respuesta correcta a la pregunta
planteada
1. la definición clara y precisa del objetivo del estudio ->
donde está la pregunta?
2. la elección del diseño adecuado
3. rigor metodológico
www.bandolier.com May 2003
Ensayos de no inferioridad y ensayos secuenciales
1.¿dónde está la pregunta?
 Dejar claro qué tratamiento se evalúa
 Qué intervención es la de referencia
 Qué variable se utiliza y cuando se mide
 Definición del tipo de sujetos a estudiar
Ensayos de no inferioridad y ensayos secuenciales
Objetivo
Variable
Variable (cuantitativa)
(cualitativa)
Métodos
Introdución
Población estudiada:
Momento
Resultados
Métodos
Discusión
Ensayos de no inferioridad y ensayos secuenciales
Objetivo
Variable
(cualitativa)
Introdución
Variable
(cuantitativa)
Métodos
Momento
Resultados
Métodos
Discusión
1
Respuesta clínica
Respuesta viral
sostenida
% pac CV indetectable
24 semanas tras
finalizar tto
2
Adherencia
Cuestionario Smaq
Recogida med
Escala visual
%Nº dosis/total de dosis
previstas
Adherencia >80%
Media 4 medidas
Tras 1er-2º mes
cada 2 meses
3
Permanencia
Recogida de medicación
% nº días con
tto/respecto al nº total
previsto
Permanencia >80%
Media 4 medidas
Tras 1er-2º mes
cada 2 meses
4 Satisfacción
Encuesta
% pac con escala >5
encuesta satisfacción
24, 48 semanas
5
Coste
Valoración coste tto
Valores en €
Hasta finalizar tto.
Población estudiada:
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
?
?
?
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
Aleatorización
•Factor aparetemente simple
•No predecible
•Aplicarse después de decidir incluir al paciente
•El azar tiende a producir grupos comparables
•Produce distribución equilibrada variables pronósticas
•Conocidas
•Desconocidas: factores de confusión
•Cuanto mayor sea N mayor equilibrio
•Previene sesgos y permite cálculo de probabilidades (P)
•Distintos tipos de aleatorización: Bloques, estratificada, adaptativas
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
Ciego
•No confundir con ocultación de la secuencia de aleatorización
•El ciego protege la aleatorización una vez se ha producido la asignación
•Simple ciego, doble, triple, cuadruple….
•No siempre puede cegarse: Ej: Dietas, procedimientos quirúrgicos, ARV,…
•Cuanto más subjetiva la variable más necesario es el cegado (analgesia,
calidad de vida, etc…)
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
Enmascaramiento
•Procedimiento que garantiza el proceso del cegado
•Pretende evitar las espectativas/prejuicios de pacientes, investigadores,…
•Ej: hipolipemiantes
•Presentar un formato del fármaco lo más idéntico posible
•Se puede romper por toxicidad, efectos secundarios
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
Comparabilidad
•Seguimiento exhaustivo de los pacientes
•Diagramas de flujo de pacientes
•Drop-outs o pérdidas
•Withdrawals o retiradas
•La aceptabilidad del estudio depende no tanto del número de pérdidas
sino de los motivos que las hayan condicionado
•% de perdidas similares pueden invalidar los resultados?
•Hay algún % de pérdidas considerado máximo?
Ensayos de no inferioridad y ensayos secuenciales
Estrategia de análisis
2.¿Es el diseño adecuado?
Objetivo: CV <400 a las 48 semanas
Randomizados
N=100
Datos disponibles a 48 semanas
N=75
CV<400
N=65
Análisis PP
87% (65/75)
CV>400
N=10
Datos no disponibles a 48 semanas
N=25
CV<400
N=11
ITT (ultima observación)
76% (65+11/100)
CV>400
N=14
ITT (perdidas=F)
65% (65/100)
Dilución de la respuesta: ¿Cuál es la verdadera?
Ensayos de no inferioridad y ensayos secuenciales
3.¿Se ha realizado con rigor?
 El grado con el que el diseño, desarrollo, análisis y
presentación de los datos ha minimizado o evitado
sesgos
Ensayos de no inferioridad y ensayos secuenciales
¿Convencimiento de que no está sesgado?
 "Inclinación parcial de la mente"
 la existencia de sesgos favorece que los resultados
sobreestimen el efecto de los tratamientos
Perfectafeno
el mejor
analgésico
30%
20%
25%
40%
www.bandolier.com December 2001
30%
Ensayos de no inferioridad y ensayos secuenciales
Sesgos
Ensayos de no inferioridad y ensayos secuenciales
¿Cómo medir la Validez Interna?
o Existen al menos 9 check-list y 25 escalas
oJadad
oCONSORT
Ensayos de no inferioridad y ensayos secuenciales
Escala de Jadad
ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD)
¿Se describe el estudio como aleatorizado? (*)
¿Se describe el estudio como doble ciego? (*)
¿Se describen los abandonos y exclusiones del estudio? (*)
(*) SÍ= 1 / NO= 0
¿Es adecuado el método
de aleatorización? (**)
¿Es adecuado el método
de doble ciego? (**)
(**) SÍ= 1 / NO= -1
Rango de puntuación: -0-5
Estudio de baja calidad: Puntuación < 3
Ensayos de no inferioridad y ensayos secuenciales
Escala de Jadad
ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD)
¿Se describe el estudio como aleatorizado? (*)
¿Se describe el estudio como doble ciego? (*)
¿Se describen los abandonos y exclusiones del estudio? (*)
(*) SÍ= 1 / NO= 0
¿Es adecuado el método
de aleatorización? (**)
¿Es adecuado el método
de doble ciego? (**)
(**) SÍ= 1 / NO= -1
Rango de puntuación: -0-5
Estudio de baja calidad: Puntuación < 3
*actualmente el manual metodologico Cochrane 2009 desaconseja
explicitamente la escala JADAD y recomienda una serie de puntos adicionales
el número de participantes asignados aleatoriamente, los que han
Ensayos de no inferioridadrecibido
y ensayoselsecuenciales
tratamiento previsto, los que han terminando el protocolo
del estudio, y los analizados para el resultado primario. Descripción
de las desviaciones del protocolo del estudio previsto, junto con las
razones de dichas desviaciones.
El reclutamiento 14
Fechas que definen los períodos de reclutamiento y seguimiento.
Datos
base
15
Características demográficas y clínicas cada grupo.
www.consort-statement.org
Números
16
Los números de participantes (denominador) en cada grupo
Ensayos
superioridad
Ensayos
analizados
incluidos
en cada análisis y especificar
si elequivalencia/No
análisis se ha realizado
inferioridad
"por intención de tratar". Indique
los resultados en números
absolutos
cuando es por
factible
10/20, no 50%).
o Formada
22(Ej:
items
Resultados y
17
Para cada resultado primario y secundario, un resumen de los
o1 Titulo y resumen
estimación
resultados para cada grupo, y del tamaño estimado del efecto y su
o1 Introducción
precisión (Ej:.,
intervalo de la confianza del 95%).
Lectura crítica
o10
sobre
Análisis
18
Comunicar cualquier
otrométodos
análisis realizado, incluyendo
análisis de
e
interpretación
sobre
resultados
auxiliares
subgrupo yo7
análisis
ajustados,
indicando aquellos que se han preespecificado
aquellos discusión
que son exploratorios.
o3y Sobre
Efectos
19
Todos los acontecimientos adversos importantes o efectos
adversos
secundarios en cada grupo de la intervención.
DISCUSIÓN
Interpretación
20
Interpretación de los resultados, considerando la hipótesis del
estudio, fuentes de sesgos potenciales o de imprecisión, así como
los peligros asociados con la multiplicidad de análisis y resultados.
Generalización
21
Generalización (validez externa) de los resultados de ensayo.
Evidencia
22
Interpretación general de los resultados en el contexto de la
general
evidencia actual.
Consort
Ensayos de no inferioridad y ensayos secuenciales
HUSD: Aplicación de la Lista-Guía CONSORT en ensayos publicados

Los criterios que menos se cumplen son:
– métodos usados para garantizar calidad de
la medida de los resultados (12%)
– descripción detallada de cómo se aplica la
aleatorización (12%)
– evaluación del proceso y éxito de cegar
(20%)
– criterios de suspensión del ensayo (33%)
– presentación de resultados con intervalos de
confianza (50%).
Ensayos de no inferioridad y ensayos secuenciales
Conclusiones en validez interna



La publicación de un estudio no es garantía
de su validez metodológica
En “Métodos” se encuentran la mayoría de
respuestas
La validez interna es condición necesaria
pero no suficiente
Ensayos de no inferioridad y ensayos secuenciales
Para aplicar los resultados me tienen que convencer de:
VIA: Válidos, Importantes, Aplicables
 ¿son válidos?
VALIDEZ INTERNA
 ¿son importantes?
 ¿son aplicables a mis pacientes?
VALIDEZ
EXTERNA
Ensayos de no inferioridad y ensayos secuenciales
Relación Válidez interna - Válidez externa
Eficacia
Probabilidad de que
un promedio de individuos,
en una población
determinada,
Efectividad
Probabilidad de que un
individuo, en una población
indeterminada, se beneficie
de la aplicación de una
se beneficie de la aplicación
tecnología sanitaria a la
de una tecnología sanitaria
resolución de un problema
a la resolución de un
problema de salud concreto,
bajo condiciones IDEALES
de actuación establecidas
previamente
de salud determinado, bajo
condiciones REALES de
aplicación por personal de
salud
Office of Technology Assessment. Assessing the Efficacy and Safety of Medical
Technologies. Washington: Government Printing Office, 1978 (Modificada)
Ensayos de no inferioridad y ensayos secuenciales
1.¿son importantes?
o Cualidad:¿Qué se mide?
o Cantidad: ¿Cúal es la magnitud?
Ensayos de no inferioridad y ensayos secuenciales
Cualidad:¿Qué se mide?
Tipo Variable
Clínica
Definición
Resultados finales de salud: muerte, infarto, ictus.
Se define según la enfermedad a estudiar: supervivencia en cáncer,
fracturas vertebrales en la osteoporosis, curación en las úlceras, cura
microbiológica en las infecciones.
Subrogada
Medida de laboratorio o síntoma utilizada como sustituta de una final
clínica importante que indica como evoluciona la enfermedad.
Los cambios en la variable subrogada se supone que se
correlacionan con una variable clínica.
Ej.hiperglucemia.
Relevante paciente
Variables importantes para el paciente y sus cuidadores. Los pacientes
son capaces de sentirlas: calidad de vida, capacidad llevar una vida
normal.
A su vez pueden ser clínicas o subrogadas.
Ensayos de no inferioridad y ensayos secuenciales
Cualidad:¿Qué se mide?
oEn ocasiones se “magnifica” el efecto de variables secundarias
oUn buen resultado en una variable subrogada no implica un buen
resultado clínico
Ensayos de no inferioridad y ensayos secuenciales
Cualidad:¿Qué se mide?
o Consenso SORT (Strenght Of Recommendation Taxonomy)
establece un algoritmo de gradación de la evidencia con 3 niveles de
evidencia (1, 2 y 3)
oSolo alcanza el nivel 1 o 2
estudios que se centran en
variables finales clínicas
oUn metanálisis con variable
intermedias no tiene calificación
superior a 3
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Las variables combinadas
¿Qué se mide?

El uso de variables combinadas es cada vez más frecuente

Se suele emplear cuando el efecto esperado sobre cada uno de
los desenlaces de interés es pequeño

Puede que el efecto se haya producido sobre uno de los
componentes y se atribuya erróneamente a todos


Ej: AAS en Prevención del reinfarto y ACV de cualquier
etiología
Hay que analizar la variable combinada y tener en cuenta los
efectos por separado
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Las variables combinadas ¿Qué se
mide?

La diferencia en el efecto combinado se debe ppalmente a las
flebografías subclínicas pero no ha mostrado reducción en
trombosis venosa sintomática ni en embolia pulmonar.
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos ¿Qué se mide?

La realización de múltiples comparaciones aumenta la
probabilidad de encontrar un resultado estadísticamente
significativo

Si el subgrupo es de pequeño tamaño el análisis puede ser
incapaz de detectar diferencias relevantes

Si el estudio presenta análisis de subgrupos:






Magnitud del efecto clínicamente relevante
Efecto estadísticamente muy significativo
Hipótesis planteada a priori
Análisis realizado dentro de una estrategia de comparaciones
múltiples
Resultados consistentes con otros estudios
Evidencia indirecta que avale los resultados (plausibilidad
biológica)
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos ¿Qué se mide?

Efecto de factor de confusión en EECC para enfermedad con
elevada mortalidad (n=78)
H
T
27/40
Mortalidad
%
18/38
67,5
Pacientes alto riesgo
%
Diferencia
47,4
20,1
H
T
32/40
14/38
80%
36,8%
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos ¿Qué se mide?


Efecto de Factor de confusión en EECC para enfermedad con
elevada mortalidad (n=78)
H
T
Bajo riesgo
2/8
4/18
%
25%
22,2%
Alto riesgo
25/32
18/38
%
78,1%
70%
Diferencia
2,8%
8,1%
La distinta distribución del factor pronóstico ha producido un
fenómeno de confusión y la diferencia inicial (20%) estaba
distorsionada)
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos y multivariante


Incorporar la estadística al análisis de subgrupos = análisis de
subgrupos; evaluar el efecto del tto sobre la variable respuesta
dentro de cada estrato
H
T
Bajo riesgo
2/8
4/18
%
25%
22,2%
Alto riesgo
25/32
18/38
%
78,1%
70%
Diferencia
2,8% p>0.05
8,1% p<0.05
Las técnicas multivariante implican un modelo matemático.
 Variable dependiente (respuesta)
 Variable independiente ppal (tto)
 Variables independientes a controlar (estimación de coeficiente de
regresión)
Ensayos de no inferioridad y ensayos secuenciales
Cantidad:¿Cuál es su magnitud?
¿Con quién nos comparamos?
¿Cuánta debe ser la diferencia?
Tratamiento estándar superior
Tratamiento nuevo superior
Tratamiento nuevo no inferior
-%
0%
Ensayos de no inferioridad y ensayos secuenciales
Con quien nos comparamos?
Elección del comparador no coincide con el tratamiento estándar.
Estudio Ramsey WB. NEJM 1999. Eficacia Tobramicina inhalada vs placebo
(no colistina)
Estudio Zeuzem S., NEJM 2000; Heathhcote E., 2000; Reddy KR., 2001.
Peg-interferon alfa 2-a vs Interferon alfa 2-a, ambos en monoterapia
Herbrecht R, NEJM 2002. Voriconazol en aspergilosis invasiva vs anfotericina
deoxicolato
Dosificación del fármaco en estudio o del comparado no coincidente con la ficha técnica
del nuevo fármaco o con las dosis admitidas del comparador (dosis aas Caprie es
325mg, que no es lo habitual, dosis dobutamina en Lido vs levosimendan)
Duración de tratamiento no adecuada.
Tto antibiótico exacerbaciones EPOC
- incluyen pacientes desde 18 años
- % no fumadores
Ensayos de no inferioridad y ensayos secuenciales
Ensayos de no inferioridad y ensayos secuenciales

2. ¿son aplicables a mis pacientes?
Término
Definición
Generalización o Validez
Externa
Aplicación de los resultados fuera del estudio (por generalización)
Extrapolación
Aplicación de los resultados a un grupo más amplio del estudiado (por
inferencia, extensión, predicción o proyección de lo observado o
experimentado)
Ej: resultados 40-65 años extrapolados a población de más edad.
Aplicabilidad
Aplicación de los resultados a grupos o pacientes individuales. Si un
estudio muestra eficacia en la población estudiada, se espera que lo
tenga en un individuo.
Ensayos de no inferioridad y ensayos secuenciales
La dilución de la respuesta...
100% Población Hipertensa
90% Cobertura Programa
76% Eficacia Fármaco
Registro
95% Precisión Diagnóstica
66% Prescripción correcta
65% Cumplimiento paciente
EFECTIVIDAD 28%
Mejoría salud
Tugwell P, Bennet KJ, Sackett DL, Haynes B. The measurement operative loop: a
framework for the critical appraisal of need, benefits and costs of health
interventions. J Chron Dis 1985; 38: 339-351.
Ensayos de no inferioridad y ensayos secuenciales
Población total (mujeres)
Población diana (mujeres 13-48 años)
Población accesible (13-48 que vienen a consulta)
Muestra (incluimos estudio)
La representatividad de la muestra es el condicionante de
la validez externa. M.Bobenrieth
Ensayos de no inferioridad y ensayos secuenciales
Válidez externa en efectos
secundarios…
Los 5 demasiados:
– Selectos

Tratamientos en nuestro medio
– restringidos
– breves
– reducidos
– controlados


Efectos 2ºs
medios, capacidades, accesibilidad y
seguimiento
Ensayos de no inferioridad y ensayos secuenciales
Preguntas para establecer la validez externa:
1. ¿Considera adecuado el comparador?
2. ¿Son importantes clínicamente los resultados?
3. ¿Considera adecuada la variable medida utilizada?
4.
¿Considera adecuados los criterios de inclusión/exclusión de
los pacientes
5. ¿Cree que los resultados pueden ser aplicados
directamente a la práctica clínica?
6. Otros sesgos o limitaciones encontradas en el estudio
Ensayos de no inferioridad y ensayos secuenciales
Conclusiones en Validez Externa

Magnitud
– Cuidado con:
– variables combinadas
– Análisis por estratos o subgrupos
– Tipo de medida u objetivo

Aplicabilidad
– Cuidado con:
– Tipo de población estudiada
– Comparador adecuado
– la dilución de la respuesta
Ensayos de no inferioridad y ensayos secuenciales
Las ilusiones cognitivas se subdividen en:
- ambigüedades
- deformaciones
- paradojas
- ficciones
Ensayos de no inferioridad y ensayos secuenciales
Ejemplo: Fingolimod en EM
Ensayos de no inferioridad y ensayos secuenciales
Ejemplo:Fingolimod en EM
Ensayos de no inferioridad y ensayos secuenciales
Ejemplo:Fingolimod en EM