Corso di Laurea Specialistica in Scienze delle Professioni Sanitarie della Prevenzione

Letteratura secondaria: revisioni sistematiche e meta-analisi

Ludovica Tamburini 14 e 15 gennaio 2010

Evidence-based Medicine

Movimento culturale che si è progressivamente diffuso a livello internazionale, favorito da alcuni fenomeni che hanno contribuito ad una crisi dei modelli tradizionali della medicina: crescita esponenziale dell’informazione biomedica (volume e complessità) limitato trasferimento dei risultati della ricerca alla pratica sanitaria crisi economica dei sistemi sanitari maggior livello di consapevolezza degli utenti sviluppo delle tecnologie informatiche

L’Evidence-based Prevention

Movimento che: → coopera per cambiare la pratica della prevenzione, al fine di renderla sempre più utile per la salute della popolazione; → intende arricchire la prevenzione di tutti quegli interventi per i quali, attraverso adeguati studi scientifici , ne è stata dimostrata utilità ed efficacia; → intende eliminare progressivamente tutte quelle pratiche di prevenzione inutili ed inefficaci.

Poiché alcune delle pratiche inefficaci sono ancora obbligatorie per legge, l'iniziativa Evidence Based Prevention tenta anche di adeguare la normativa alle attuali conoscenze scientifiche.

Dall’EBM all’EBP

Il fascino dell'EBM ha presto "contagiato" tutte le specialità mediche e le altre professioni sanitarie con relativa moltiplicazione degli acronimi.

Superata la fase campanilistica si è diffuso il termine Evidence-based Practice (EBP), a sottolineare in maniera univoca la "pratica professionale basata sulle evidenze scientifiche".* * www.gimbe .it

Core-curriculum

La pratica dell'EBP si articola in 4 step: Formulating question → Convertire il bisogno di informazione in quesiti definiti Getting evidence → Ricercare con la massima efficienza, le migliori evidenze disponibili Appraising evidence → Valutare criticamente le evidenze Applying evidence → Integrare le evidenze nelle decisioni cliniche

Quesiti e approcci di ricerca bibliografica

QUESITO APPROCCIO BACKGROUND QUESTIONS

quesiti di carattere generale

FOREGROUND QUESTIONS

quesiti specifici che si riferiscono ad un aspetto particolare (di trattamento, di prognosi, eziologici, diagnostici).

SCANNING

STRATEGIA PRO-ATTIVA (consultazione periodica per individuare novità sui temi di abituale interesse)

SEARCHING

STRATEGIA REATTIVA (ricerca attiva rispetto ad un quesito formulato )

Foreground questions

• • quesito in forma narrativa PICO P – (patient) paziente o problema I – (intervetion) intervento o esposizione C – (comparison) confronto o intervento di controllo O – (outcame) risultato o esito • • • parole chiave traduzione ricerca nelle banche dati biomediche

Esempio: Nelle persone al di sopra dei 65 anni, la vaccinazione antinfluenzale può ridurre la morbilità rispetto alle persone che non la effettuano?

Popolazione

Anziani > a 65 anni

Intervento

Vaccinazione antinfluenzale

Comparazione Outcome

Riduce la morbilità?

PAROLE CHIAVE

 ANZIANI  VACCINAZIONE ANTINFLUENZALE  MORBILITÀ

TRADUZIONE

 AGED  INFLUENZA VACCINES  MORBIDITY

Come si collocano i professionisti?

LIMITATA PRATICABILITA’

EBP-practitioners, capaci di praticare l’EBP step-by-step e di diffonderla nel loro setting professionale.

EBP-users, professionisti che condividono principi e metodi dell’EBP, ma sostituiscono lo step relativo alla valutazione critica utilizzando prevalentemente fonti secondarie.

LA LETTERATURA SCIENTIFICA

Oggetto: Pazienti

PRIMARIA SECONDARIA TERZIARIA

Oggetto: Studi primari Oggetto: Studi primari di: Trattamento (RCT) Eziologia (coorte o caso controllo) Prognosi (coorte) Diagnosi (di validazione) Revisioni sistematiche Metanalisi Linee guida evidence based Trattati Libri Revisioni tradizionali Editoriali Lettere

La piramide delle evidenze

SRs e MAs di RCTs RCTs SRs e MAs di CSs Cohorte Studies SRs e MAs di CCSs Case Control Studies Case Series – Case Report Opinions

Non è evidenza ciò che è esplicito ma ciò che è dimostrato

REVIEWS

Rendono più “maneggevole” un enorme quantità di informazioni. Si distinguono in: TRADIZIONALI – narrative (letteratura terziaria) SISTEMATICHE - qualitative o quantitative (letteratura secondaria)

Revisione tradizionale

Paragonabile al capitolo di un libro Non esplicitato il metodo di selezione, sintesi e interpretazione delle evidenze Impossibilità di fare una valutazione critica Obiettivi molto ampi Spesso fatte su commissione * Centro Studi EBN S.Orsola – Malpighi Bologna

Revisione sistematica

Ricerca scientifica vera e propria Esplicitato il protocollo metodologico Possibilità di fare una valutazione critica Sintesi dei risultati spesso fatta con metodo meta analitico

Systematic Review

Individua, valuta e sintetizza studi scientifici, allo scopo di offrire risposte esaurienti, basate su dati empirici, a quesiti della ricerca scientifica E’ uno strumento capace di risolvere problemi legati alla ricerca e all’interpretazione delle migliori evidenze Ha un ruolo sempre crescente per la pratica clinica, per la formazione permanente, per le decisioni di politica sanitaria

Systematic Review

Le revisioni sistematiche consentono di riassumere tutte le prove di efficacia circa un particolare intervento/prestazione e di aggiornarle quando nuove informazioni sono disponibili. L’analisi combinata di diversi studi sulla stessa tipologia di pazienti, di intervento/prestazione ed outcome consente di aumentare la precisione delle stime. La possibilità offerta dalle revisioni sistematiche di comparare i risultati di studi diversi condotti in contesti differenti consente di migliorare la generalizzabilità dei risultati.

Systematic Review FASI

1. Identificazione del problema e dello scopo 2. Sviluppo di un protocollo di revisione 3. Localizzazione degli studi 4. Selezione degli studi rilevanti 5. Valutazione della qualità delle ricerche 6. Raccolta dei dati dagli studi individuali 7. Sintesi quantitativa o qualitativa e riassunto dei risultati degli studi 8. Documentazione del metodo nel report della revisione

Systematic Review ELEMENTI ESSENZIALI DEL PROTOCOLLO DI REVISIONE

→ DEFINIZIONE QUESITO DI RICERCA (GENERALMENTE DI FOREGROUND) → DEFINIZIONE STRATEGIA DI RICERCA DEGLI STUDI → DEFINIZIONE CRITERI DI INCLUSIONE/ESCLUSIONE DEGLI STUDI → CRITERI PER LA VALUTAZIONE DELLA QUALITA’ → ESTRAPOLAZIONE ED ANALISI DEI DATI

1. Quesito

Deve essere essenziale, specifico e chiaro.

Deve definire i partecipanti, gli interventi da valutare, gli esiti da misurare (PICO). Quesiti non chiari e generici danno luogo a revisioni scadenti.

2.Criteri di inclusione e di esclusione

Devono essere sempre definiti prima di iniziare la ricerca degli studi in letteratura Devono riflettere direttamente il quesito della ricerca (partecipanti, interventi, risultati) Devono indicare i tipi che di studio verranno selezionati

3. Strategia di ricerca

Serve ad interrogare le banche dati e descrive le modalità di consultazione di ogni altra fonte informativa, ricerca bibliografica, ricerca manuale, contatti con ricercatori, atti di congressi, registri di studi non ancora pubblicati (es. Cochrane Central Register*) *http://uscc.cochrane.org/en/newPage3.html

The Cochrane Central Register of Controlled Trials (CENTRAL) is a database of controlled trials and other healthcare interventions that serves as the best available resource for those preparing and maintaining systematic reviews or searching for trials. CENTRAL includes citations that may not be indexed in MEDLINE, EMBASE, or other bibliographic databases, citations published internationally in many languages, and citations that are available in conference proceedings or other hard to access sources. (Dickersin K, Manheimer E, Wieland S, Robinson KA, Lefebvre C, McDonald S, and the Central Development Group. Development of the Cochrane Collaboration's Central Register of Controlled Clinical Trials. Evaluation and the Health Professions, 2002; 25:38-64.)

3. Strategia di ricerca

Deve avere come obiettivo l’identificazione di tutti gli studi pubblicati, non pubblicati o in corso di pubblicazione che rientrino nei criteri di inclusione.

L’obiettivo di una strategia di ricerca completa è quello di ridurre al minimo il rischio di bias:  publication bias (di pubblicazione)  time lag bias (temporale)  language bias (linguistico)

Funnel Plot

Tecnica grafica utilizzata per valutare la possibilità di publication bias in una RS.

Si tratta di uno strumento grafico che si basa sulla distribuzione dei punti sul grafico: - se questi sono equamente distribuiti nelle due parti si ipotizza che non siano presenti pubblication bias - se invece sono concentrati in una sola parte il rischio è che siano presenti bias

Funnel Plot

Recentemente questo strumento è stato messo in discussione, per la grande sensibilità e la scarsa specificità.

Ossia se il funnel plot non rileva bias è probabile che non ci sia, ma se lo rileva non è detto che questo ci sia realmente.

4. Valutazione critica

Serve per valutare il rigore metodologico degli studi raccolti, verificando il disegno di studio e la sua conduzione. La qualità del prodotto conclusivo di una RS dipende dalla qualità degli studi considerati. Pertanto è necessaria una valutazione critica relativa alla pertinenza al tema e alla metodologia di ricerca. Esistono strumenti specifici per la valutazione critica (es: Quality Assessment Scale, Scala di Newcastle-Ottawa ).

5. Raccolta e sintesi dei dati

Estrapolare i dati nel modo più accurato possibile e creare uno strumento (es. una griglia) dove registrare le informazioni che servono, relative ad ogni studio incluso nella RS. Per un buon livello qualitativo, l’analisi dei dati va definita nel protocollo della RS I dati di una revisione si possono analizzare in modi differenti: se quantitativi si prestano al metodo statistico della meta-analisi, se qualitativi possono essere presentati in forma narrativa.

In entrambi i casi è opportuno definire a priori la metodologia che si intende seguire.

Meta-analisi

La metanalisi è una tecnica clinico-statistica che permette di analizzare una serie di studi condotti sullo stesso argomento, consentendo una sintesi quantitativa dei risultati.

Meta-analisi

E’ utilizzata  nei casi di incertezza nella valutazione di efficacia di un trattamento  quando i risultati dei singoli studi non sono univoci  quando i singoli studi sono effettuati su un campione di pazienti numericamente scarso (poco affidabili) LA COMBINAZIONE DEI DATI DIMINUISCE L’IMPRECISIONE DEI RISULTATI DEI SINGOLI STUDI

Meta-analisi

In una meta-analisi non si sommano semplicemente i pazienti dei vari studi. Si conserva l'effetto individuale di ciascuno studio e si usano metodi statistici che, preservando l'identità del singolo studio, forniscono una stima combinata dell'effetto dell'intervento dando maggior peso agli studi più grandi.

Più è grande uno studio e più esso influenzerà il risultato globale della meta-analisi.

Meta-analisi: quale valore aggiunto?

Combinazione statistica di più studi che permette: di aumentare la potenza del risultato in caso di studi con campioni piccoli di aumentare la generalizzabilità aumentando il campione (purchè omogeneo) di rispondere a domande non poste dai singoli studi di chiarire controversie che derivano da studi confliggenti di formulare nuove ipotesi

Meta-analisi: quando non è opportuna?

1. Se gli studi sono clinicamente molto diversi (interventi o outcome diversi) 2.

Se gli studi sono di scarsa qualità metodologica 3. Se la revisione della letteratura non ha eliminato il pubblication bias.

Come leggere una meta-analisi: il forest plot o blobbogramma

Nel tipico grafico di sintesi di una meta-analisi si hanno linee orizzontali, ciascuna delle quali mostra il risultato di un singolo studio, mentre la linea perpendicolare corrisponde a "nessun effetto". Per convenzione nel lato sinistro del grafico cadono le stime di effetto che favoriscono il trattamento sperimentale mentre in quello destro quelle a favore del trattamento standard. Conviene però guardare sempre la figura con attenzione perché a volte la situazione è capovolta.

Il quadratino in mezzo alla linea indica la stima di effetto che può essere riassunta con diversi tipi di misure: rischio relativo, odds ratio, differenza di rischio (la misura più spesso usata è l'odds ratio). La lunghezza della linea attorno alla stima puntuale è proporzionale all'incertezza che ha la stima puntuale di quello studio. Essa rappresenta l'intervallo di confidenza del risultato. Quando uno studio ha un campione piccolo il risultato è molto incerto e ciò si può vedere dalla lunghezza della linea (che sarà lunga) e dalla dimensione della stima puntuale nel centro (che sarà piccola). Quando la linea dello studio tocca o attraversa la linea perpendicolare del "nessun effetto" il risultato non è convenzionalmente "statisticamente significativo".

Se confrontiamo i due studi inseriti nel forest plot, si nota che lo studio a sx produce una stima molto meno incerta. Il grado di certezza/incertezza derivante da ogni singolo studio non è comunque una misura di "validità dei risultati". Infatti, entrambi gli studi possono essere completamente sbagliati. Una piccola dose di incertezza (come nello studio più grande) non significa assolutamente che il risultato sia "vero". Essa mostra semplicemente l'incertezza attorno alla stima puntuale per ogni studio. E' difficile pensare che entrambi gli studi mostrino la verità su questo trattamento, perché essi puntano in direzioni opposte. Il primo studio che abbiamo inserito sulla destra indica, in modo statisticamente significativo, che il trattamento non è utile poiché i soggetti nel gruppo di controllo hanno un esito migliore. E lo studio sulla sinistra dice l'opposto.

Inserendo nel grafico un terzo studio, anche questo ci dice che probabilmente il trattamento sperimentale non funziona. Ma il risultato è compatibile sia con un piccolo effetto positivo, sia con un piccolo effetto negativo. Prima di procedere alla combinazione quantitativa dei risultati, si aggiungono nel forest plot uno studio dopo l'altro.

Se si sceglie di fare una meta-analisi occorre procedere con una stima puntuale globale degli studi. Il risultato cumulativo derivante dall’elaborazione statistica di tutti gli studi è rappresentato dal diamante ai piedi del grafico, il cui punto centrale indica la stima complessiva dell’efficacia dell’intervento indagato, mentre la larghezza si riferisce all’intervallo di confidenza complessivamente calcolato.

In questo caso particolare, la combinazione è più o meno simile come ci si poteva attendere - allo studio più grande poiché quando si hanno pochi studi a disposizione lo studio più ampio domina la meta analisi. Può darsi che l'unico studio che mostra un effetto positivo del trattamento abbia ragione, ma può anche essere in realtà che quello studio ci stia dando una risposta sbagliata. Quindi, la decisione di combinare o meno quantitativamente i risultati quando gli studi sono pochi e i risultati variabili andrebbe presa con molta cautela.

Critical Appraisal: come valutare la qualità di una RS qualitativa e quantitativa?

Poche e semplici domande su: OBIETTIVO STRATEGIA DI RICERCA CRITERI DI INCLUSIONE VALUTAZIONE CRITICA SINTESI DEI DATI OMOGENEITA’ DOCUMENTAZIONE DEI RISULTATI CONCLUSIONI E RACCOMANDAZIONI

Obiettivo

L’obbiettivo specifico è dichiarato in modo chiaro ed esplicito (PICO)?

Strategia di ricerca

È stata utilizzata una strategia della ricerca corretta per individuare gli studi? È stata fatta una ricerca completa dei database appropriati e sono state esplorate le altre fonti potenzialmente importanti?

(controllare che siano state utilizzate come banche dati almeno Medline, Embase, Chinal, Cochrane)

Criteri di inclusione

Come sono stati selezionati gli studi? I criteri di inclusione sono dichiarati?

Valutazione critica

È stata valutata in modo appropriato la validità degli studi inclusi? (bias? violazione del protocollo?)

Sintesi dei dati

Come sono stati aggregati gli studi?

I risultati sono stati aggregati in modo appropriato (meta-analisi per gli studi quantitativi e forma narrativa per quelli qualitativi)?

Omogeneità

Gli studi sono omogenei?

La popolazione degli studi inclusi è simile? È stato valutato lo stesso intervento? Sono stati usati gli stessi outcome?

Documentazione dei risultati

I metodi di revisione sono documentati? È fornito un riassunto dei risultati?

Conclusioni e raccomandazioni

È fornito un riassunto dei risultati? Sono proposte specifiche direttive per nuove ricerche? Le conclusioni sono supportate dai dati?

Valutazione della qualità delle RS

Devono essere valutati i successivi sei punti: 1. il quesito clinico di partenza non deve essere una semplice speculazione teorica, ma deve avere un impatto sui pazienti ed essere clinicamente rilevante; 2. i criteri di inclusione degli studi in termini di tipologia di pazienti, condizioni di salute, interventi da valutare, misure di esito e disegno di studio devono essere chiaramente esplicitati; 3. la strategia attraverso la quale sono stati ricercati gli studi da includere deve essere dichiarata, deve essere specificato che non sono stati applicati limiti temporali o linguistici alla ricerca e come è stata verificata l’esistenza di studi in corso e/o non pubblicati; 4. come è stata effettuata l’estrazione dei dati dagli studi. L’adozione di una scheda predefinita ed il lavoro svolto da almeno due revisori indipendenti è il metodo accreditato per ridurre gli errori; 5. il modo in cui si è proceduto alla valutazione della qualità degli studi e come questa valutazione è stata presa in considerazione in fase di analisi.

6. in che modo gli autori della revisione hanno interpretato i risultati. In particolare è importante che i risultati derivino dai dati presentati e non si confondano le considerazioni degli autori con i risultati delle analisi. È necessario, per esempio, che la mancanza di prove di efficacia non sia confusa con le prove di inefficacia, ovvero che la carenza di studi non sia discussa come se esistessero studi con risultati negativi.

ETEROGENEITA’

Occorre definire se gli studi sono sufficientemente omogenei da legittimare la meta-analisi. Si distinguono 3 tipi: 1. CLINICA (PICO), 2. METODOLOGICA (M), 3. STATISTICA (dipende dalle prime due) La decisione rispetto all’eterogeneità si prende sulla base dei seguenti aspetti: • Scostamenti tra le stime puntuali degli effetti dei diversi studi.

• Sovrapposizione degli intervalli di confidenza.

• Valore del test statistico di eterogeneità.

TEST STATISTICI DI ETEROGENEITA’

 chi quadro  p value (<0,10) la differenza tra le popolazioni di riferimento è reale o casuale? Se p > 0,05 non c’è eterogeneità (differenza casuale), se < 0,05 c’è eterogeneità (differenza reale)  inconsistenza I² descrive la percentuale della variabilità dell’effetto della stima che è riferibile alla eterogeneità piuttosto che al caso (variabilità campionaria). Se I ² > 50%, siamo in presenza di una eterogeneità sostanziale.

ETEROGENEITA’ NON PRESENTE

ETEROGENEITA’ PRESENTE

CASA FARE IN CASO DI ETEROGENEITA’

Se le stime puntuali sono lontane, gli overlaps sono scarsi, p < 0,10, I₂ > 50% significa che la variabilità che si osserva tra gli studi non è spiegabile solo attraverso il caso, ma è imputabile a differenze reali (la meta-analisi non è “appropriata”).

Non è opportuno utilizzare i risultati di una meta-analisi che dimostra eterogeneità.