Transcript Meta-analysis

Meta-analisi
Giorgia De Berardis
Lab. Epidemiologia Clinica del Diabete e delle Malattia Croniche
La meta-analisi: Perché?
L’efficacia di molti trattamenti viene
valutata da più trial cosa che ne rende
indispensabile un resoconto sintetico.
Sono, insieme ai trial ben disegnati, le prove più
valide dell’efficacia (o della non efficacia) dei
trattamenti.
La meta-analisi: quando?
Nei casi di incertezza nella valutazione di
efficacia di un trattamento
Quando i risultati dei singoli studi non
sono univoci
Quando i singoli studi sono effettuati su
un campione di pazienti numericamente
scarso (poco affidabili)
La meta-analisi: definizione
META-ANALISI
Metodologia statistica necessaria a combinare in
modo esaustivo, obiettivo, quantitativo e
sistematico i risultati di studi diversi condotti
su argomenti analoghi
La combinazione dei dati diminuisce l’imprecisione
dei risultati dei singoli studi
Meta-analisi
Systematic reviews
Meta-analyses
5
Revisioni sistematiche
Ricerche scientifiche vere e proprie con un
protocollo che definisce un preciso obiettivo e
descrive fonti e metodi utilizzati per
• ricercare,
• selezionare
• sintetizzare quantitativamente
gli studi primari su un determinato argomento
minimizzando i numerosi bias
Revisioni
tradizionali
Revisioni
sistematiche
Quesito
Di solito su problematiche
ampie
Di solito focalizzato su uno
specifico problema
Fonti di
informazione
e loro ricerca
Generalmente non pecificate,
potenzialmente soggette a
bias
Ricerca esaustiva, utilizzando
strategie di ricerca esplicite
Selezione
Generalmente non pecificata,
potenzialmente soggetta a
bias
Basata su criteri specifici,
uniformemente applicati
Valutazione qualità
degli studi
Variabile
Valutazione critica rigorosa
Sintesi
Di solito sintesi qualitativa
Sintesi quantitativa
Inferenze
A volte evidence based
Abitualmente evidence based
Ann Intern Med 1997; 126:376-380
The Cochrane Collaboration
Network internazionale che ha l’obiettivo di:
• preparare
• aggiornare
• disseminare
revisioni sistematiche degli studi controllati
sugli effetti dell’assistenza sanitaria e, laddove non sono
disponibili studi clinici controllati, revisioni sistematiche
delle evidenze comunque disponibili
www.cochrane.org
www.thecochranelibrary.com
www.cochrane
The Cochrane Collaboration
Il lavoro della Cochrane Collaboration viene distribuito
con la Cochrane Library che contiene diversi database:
Database
The Cochrane Database of Systematic Reviews (Cochrane Reviews)
Total Records
6909
Database of Abstracts of Reviews of Effects (DARE)
15950
The Cochrane Central Register of Controlled Trials (CENTRAL)
661393
The Cochrane Methodology Register (Methodology Register)
14985
Health Technology Assessment Database (HTA)
10532
NHS Economic Evaluation Database (NHS EED)
11441
About The Cochrane
80
Le fasi di una revisione sistematica
1. Formulazione del quesito clinico
2. Ricerca degli studi relativi al quesito clinico
3. Selezione sistematica in base a specifici criteri di inclusione
degli studi rilevanti eleggibili
4. Estrazione dei dati
5. Valutazione della qualità metodologica degli studi
6. Sintesi quantitativa (meta-analisi) o qualitativa
7. Sensitivity analysis e subgroup analysis, se appropriati
8. Report della revisione
Formulazione del quesito
• Obiettivo dello studio
▫ Per validare i risultati in un’ampia popolazione
▫ Per dare il via a nuovi studi
• Porre il quesito sia in termini biologici, sia clinici
specificando con definizioni operative
▫
▫
▫
▫
▫
Popolazione
Intervento/Esposizione
Confronti
Outcomes (sia in termini di benefici sia di rischi)
Tipo di studio
Ricerca degli studi
• Ricerca mediante l’aiuto di un esperto in ricerche
bibliografiche
• Specifica delle restrizioni della lingua
• Possibili fonti includono:
▫
▫
▫
▫
▫
▫
▫
Database bibliografici (PubMed, EMBASE, CENTRAL, …)
Revisioni
Abstracts, Atti di congressi
Registri dei trial
Industrie
Ricerca manuale
…
Selezione ed estrazione degli studi
• Gli studi eleggibili identificati sono selezionati in base ai
criteri di inclusione ed esclusione predefiniti
• I dati necessari all’analisi sono estratti da più revisori
mediante l’utilizzo di form predeterminati e confrontati
Valutazione della qualità
• La qualità metodologica degli studi viene valutata e
discussa tra i revisori
• Si possono applicare strumenti di valutazione pubblicati
• Criteri elaborati ed esplicitati dai revisori
La qualità dei trials
Popolazione bersaglio
Assegnazione del trattamento
Selection bias
Gruppo sperimentale
Gruppo di controllo
Performance bias
Esposto all’intervento
Non esposto all’intervento
Attrition bias
Follow up
Follow up
Detection bias
Risultato
Risultato
La qualità dei trials
Riduzione del selection bias:
• Randomizzazione
• Mascheramento della sequenza di randomizzazione
Riduzione del performance bias:
• Blinding del paziente e del medico
La qualità dei trials
Riduzione dell’attrition bias:
• Gestione dei dropout: adeguata se gli studi forniscono una
descrizione completa di tutti i pazienti che escono dallo studio
e se i dati sono stati analizzati secondo il metodo
dell’intention-to-treat (ITT)
• Entità dei dropout: una perdita al follow-up minore del 15% è
considerata adeguata
• Dropout selettivo: una differenza nel tasso di dropout tra i
gruppi principali di trattamento minore del 10% è ritenuta
adeguata
Riduzione del detection bias:
• Blinding sulla valutazione dell’outcome.
La qualità dei trials
Does quality of reports of randomised trials affect
estimates of intervention efficacy reported in meta-analyses?
D. Moher, B. Pam, A. Jones et al
Lancet 1998; 352:609-613.
Evaluation of 11 meta-analyses involving 127 RCTs
Main findings
Low-quality trials , compared with high-quality trials, were associated with an
increased estimate of benefit of 34%.
Trials that used inadequate allocation concealment, compared with those that
used adequate methods, were also associated with a 37% increased estimate of
benefit.
The average treatment benefit was 39% for all trials, 52% for low-quality trials,
and 29% for high-quality trials.
La qualità dei trials
Empirical evidence of bias. Dimensions of methodological
quality associated with estimates of treatment effects in
controlled trials
KF Schultz, I Chalmers, RJ Hayes, DG Altman
JAMA 1995; 273:408-412.
Evaluation of 33 meta-analyses involving 250 RCTs
Main findings
Odds ratios were exaggerated by 41% for trials that used inadequate allocation
concealment, and by 30% for unclearly concealed trials.
Trials that were not double-blinded also yielded larger estimate effects, with
odds ratios being exaggerated by 17%.
Come si utilizzano i dati dei vari studi
in una meta-analisi?
I risultati dei vari studi vengono combinati in modo
quantitativo e pesato
Combinazione quantitativa non equivale a somma aritmetica;
I risultati osservati nei pazienti inclusi in uno studio non vengono mai sommati
con quelli di un altro studio;
L’effetto del trattamento viene misurato all’interno dei singoli studi e
“impiegato” in funzione della precisione (o meglio della variabilità) dell’effetto
osservato, espresso come funzione inversa del numero di pazienti studiati.
Si attribuisce ai diversi studi un peso differente a seconda della numerosità del
campione studiato. Più è grande uno studio e più esso influenzerà il risultato
globale della meta-analisi.
Forest plot
Stima dell’effetto
I.C. 95%
Deaths/Patients
Treatment Control
O-E
variance
O-E
52/97
69/101
-11.3
27.6
693/927
720/915
-35.0
315.6
Stima cumulativa
0.0
0.5
Treatment better
1.0
1.5
Treatment worse
2.0
Tamoxifen for early breast cancer: an overview of the randomised trials
Lancet 1998; 351:1451-67
Misure
Outcome
Dicotomico
Odds
Ratio
(OR)
Relative
Risk
(RR)
Risk
Difference
(RD)
Continuo
Mean
Difference
(MD)
Standardized
Mean Difference
(SMD)
Misure
Quando usare MD o SMD
Mean Difference
• Quando gli studi hanno outcome con misure confrontabili (es.
stessa scala)
• Una meta-analisi che usa le MD è conosciuta come weighted
mean difference (WMD)
Standardized Mean Difference
• Quando gli studi utilizzano outcome con misure diverse (es.
scale differenti)
• Converte le diverse scale in una scala comune: numero di
deviazioni standard
Eterogeneità
L’eterogeneità si verifica quando c’è variabilità tra gli studi inclusi.
Può essere dovuta a diversi fattori:
• Caratteristiche della popolazione
CLINICA
• Disegno dello studio (tipo di
disegno, procedure di selezione,
fonti di informazioni, modalità di
raccolta dati)
METODOLOGICA
• Metodi statistici differenti, e
differente utilizzo delle variabili di
aggiustamento (se rilevante)
STATISTICA
Eterogeneità
In presenza di eterogeneità potrebbe non essere appropriato combinare i
risultati.
Per verificare la presenza di eterogeneità è necessario esaminare
statisticamente il grado di similitudine degli outcome dei diversi studi.
Il test misura se le differenze tra i risultati dei singoli studi sono più grandi
di quelli che ci si aspetterebbe se tutti gli studi avessero misurato lo stesso
effetto e se le differenze osservate fossero dovute solamente al caso.
Più è significativo il test di eterogeneità, minore è la probabilità che le
differenze osservate siano dovute solamente al caso, indicando che altri
fattori (per esempio il disegno dello studio, i pazienti, l’intervento o l’esito)
siano responsabili delle differenze, negli effetti del trattamento, tra gli
studi.
Omogeneità
Fixed effects model
Eterogeneità
Random effects model
Eterogeneità
Fixed effects model
Modello che si basa sull’assunzione che ci sia omogeneità di
effetto tra gli studi (le differenze osservate tra gli studi sono
dovute al caso).
Random effects model
Modello che tiene in considerazione della eterogeneità tra gli
studi. Assume che ciascuno studio abbia una propria stima
dell’effetto e che ci sia una distribuzione casuale delle stime
dell’effetto dei diversi studi intorno al valore centrale.
Test statistici di eterogeneità
• chi quadro
• p value: la differenza tra le popolazioni di
riferimento è reale o casuale? Se p > 0,05 non c’è
eterogeneità (differenza casuale), se < 0,05 c’è
eterogeneità (differenza reale)
• Inconsistenza: I² descrive la percentuale della
variabilità dell’effetto della stima che è riferibile alla
eterogeneità piuttosto che al caso (variabilità
campionaria).
• I2 <25%  bassa eterogeneità
• I2 <50%  eterogeneità moderata
• I2 >50%  elevata eterogeneità
(Higgins JPT et al. BMJ 2003;327:557-60)
Eterogeneità non presente
Eterogeneità presente
Eterogeneità non presente
Q=0.94; P=0.92; I2=0%
Eterogeneità presente
12
Q=13.21; P=0.02; I2=62.2%
De Berardis et al. BMJ 2009;339:b4531
Come trattare l’eterogeneità
1. Non effettuare la meta-analisi
2. Ignorare l’eterogeneità: usare i fixed effects model
 Difficoltà nell’interpretazione delle stime
3. Incorporare l’eterogeneità: usare i random effects model
4. Esplorare l’eterogeneità
Analisi di sottogruppi
Meta-regression
Stratificazione
Sensitivity analysis
Identificazione degli outliers
Limiti della meta-analisi
• Qualità degli studi
• Mancanza di tutte le informazioni necessarie nei
singoli RCT
• Eterogeneità
• Publication bias
Limiti della meta-analisi
• Qualità degli studi
• Mancanza di tutte le informazioni necessarie nei
singoli RCT
• Eterogeneità
• Publication bias
Limiti della meta-analisi
• Qualità degli studi
• Mancanza di tutte le informazioni necessarie nei
singoli RCT
• Eterogeneità
• Publication bias
Publication bias
• Diversa probabilità di pubblicazione di risultati positivi
rispetto a quelli negativi
• Determina la presenza di un bias (di solito un
incremento nel RR) nelle medie stimate dei risultati
Identificazione mediante funnel-plot
Funnel plot
Stima cumulativa
dell’effetto
N° pazienti arruolati
100000
10000
1000
100
10
0,1
1
A favore del trattamento
10
A favore del controllo
Rischio relativo
Funnel plot
Stima cumulativa
dell’effetto
N° pazienti arruolati
100000
10000
1000
100
10
0,1
1
A favore del trattamento
10
A favore del controllo
Rischio relativo
Rischio relativo
I diversi approcci alla meta-analisi
MA dati letteratura
Dipende dalla qualità delle
informazioni disponibili, dalla
omogeneità negli end-points
utilizzati, delle modalità di analisi
dell’efficacia, ecc.
MA dati individuali
Possibilità di verificare e correggere
i dati, di aggiungere nuove
informazioni, di eseguire altre
analisi, su sottogruppi diversi, ecc.
MA prospettica
Accordo preliminare su disegno
studio,
popolazioni, end-points, analisi per
sottogruppi, ecc.
Vantaggi
<
Consente un riassunto quantitativo dell’evidenza
scientifica
Minor peso delle valutazioni soggettive rispetto alle revisioni
tradizionali
Aumento della potenza del risultato in caso di studi con
campioni piccoli
Consentono analisi sui sottogruppi
Aumento della generalizzabilità mediante aumento del
campione (purchè omogeneo)
Sono relativamente rapide e poco costose
Svantaggi
L’elevata numerosità delle meta-analisi fa sì che differenze
anche modeste tra trattamento sperimentale e controlli
raggiungano la significatività statistica
La minor probabilità di pubblicazione di trials con risultati
negativi amplifica il peso dei trial con esito positivo
La qualità delle meta-analisi dipende dalla qualità degli studi
Una meta-analisi può individuare ma non correggere bias di
pubblicazione (bias di selezione) o errori metodologici di
conduzione degli studi (bias di informazione/selezione)
Richiedono lo stesso rigore metodologico degli studi “primari”
e possono essere egualmente affette da errori sistematici
Quando non è opportuna
Se gli studi sono clinicamente molto diversi (interventi o
outcome diversi)
Se gli studi sono di scarsa qualità metodologica
Se la revisione della letteratura non ha eliminato il
pubblication bias.
PRISMA: Preferred Reporting Items for
Systematic reviews and Meta-Analyses