Transcript Heterogenität - Cochrane Training

Heterogenität
untersuchen
Schritte eines Cochrane Reviews
1. Fragestellung festlegen
2. Auswahlkriterien definieren
3. Methoden definieren
4. Studien suchen
5. Auswahlkriterien anwenden
6. Daten extrahieren
7. Bias-Risikos der Studien bewerten
8. Ergebnisse analysieren und darstellen
9. Ergebnisse interpretieren und Schlussfolgerungen ziehen
10. Review optimieren und aktualisieren
cochrane training
Überblick
•
•
•
•
Was ist Heterogenität?
Annahmen über Heterogenität
Heterogenität erkennen
Heterogenität untersuchen
Siehe Kapitel 9 im Handbuch
cochrane training
Was ist Heterogenität?
Unterschiede in Studienergebnissen
• Drei Haupttypen:
• Klinisch
• Methodisch
• Statistisch
cochrane training
Klinische Vielfalt
• TeilnehmerInnen
• z.B. (Gesundheits-)Problem, Alter, Geschlecht, Ort,
Studieneinschlusskriterien
• Interventionen
• Intensität/Dosis, Dauer, Verabreichungsmethode,
zusätzliche Komponenten, Erfahrung der ÄrztInnen,
Kontrolle (Placebo, keine, Standardtherapie)
• Endpunkte
• Dauer der Nachbeobachtung, Messmethoden, Definition
eines Ereignisses, Schwellenwert (cut-off)
cochrane training
Methodische Vielfalt
• Design
• z.B. randomisiert vs nicht-randomisiert, Crossover- vs
parallel, Einzel- vs Cluster- Randomisierung
• Durchführung
• z.B. Biasrisiko (Verdeckte Zuteilung, Verblindung, etc.),
Vorgehen bei der Analyse
cochrane training
Statistische Heterogenität
• Es wird immer eine zufällige Variabilität bei den Ergebnissen
der verschiedenen Studien geben (Stichprobe)
• Heterogenität ist die Variabilität in den beobachteten Effekte der
verschiedenen Studien
• Sie wird verursacht durch die klinische und methodische Vielfalt
• Sie steht im Gegensatz zur Homogenität
• Studienergebnisse sind unterschiedlicher als wenn die zufällige
Variabilität der einzige Grund für die Unterschiede in den
beobachteten Interventionseffekten ist
cochrane training
Überblick
•
•
•
•
Was ist Heterogenität?
Annahmen über Heterogenität
Heterogenität erkennen
Heterogenität untersuchen
cochrane training
Modell mit festem Effekt vs Modell mit
zufälligen Effekten
•
•
•
•
Fixed-effect-model vs. random-effect-model
Beide Modelle für Meta Analysen in RevMan verfügbar
Machen unterschiedliche Annahmen über Heterogenität
Geben Sie Ihre geplante Herangehensweise im Protokoll
an
cochrane training
Modell mit festem Effekt
Zufallsfehler
(Stichprobe)
• Nimmt an, dass alle Studien
den gleichen
Behandlungseffekt messen
• Schätzt diesen einen Effekt
• Ohne Zufallsfehler
(Stichprobe) wären alle
Ergebnisse identisch
Studienergebniss
wahrer Effekt
Source: Julian Higgins
cochrane training
Modell mit zufälligen Effekten
Zufallsfehler
• Nimmt an, dass der
Behandlungseffekt zwischen
Studien variiert
• Schätzt den Mittelwert der
Verteilung der Effekte
• Gewichtet sowohl für Intraals auch für
Interstudienvarianz (tau2, 2)
Studienspezifischer
Effekt
Source: Julian Higgins
Mittelwert der
wahren Effekte
cochrane training
Wo ist der Unterschied?
• Meta-Analysen (MA) mit random-effects-model sind:
• Fast identisch mit MA mit fixed-effect-model, wenn keine
Heterogenität vorhanden ist
• Ähnlich zu MA mit fixed-effect-model aber mit breiterem
Konfidenzintervall , wenn Heterogenität, wie vom randomeffects model angenommen, vorhanden ist
• Anders als MA mit fixed-effect-model, wenn die Ergebnisse
der Einzelstudie von der Studiengröße abhängen
• Random-effects-model gibt kleineren Studien mehr Gewicht
1
1
Gewicht 
 2
Varianzinne rnhalb  Varianzzwis chen SE  tau 2
cochrane training
Keine Heterogenität
Fixed
Random
Adapted from Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in
preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.
cochrane training
Etwas Heterogenität
Fixed
Adapted from Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus
placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.
Random
cochrane training
Small study effects
Fixed
Adapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute
myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
Random
cochrane training
Welches Modell wählen?
• Planen sie die Herangehensweise in der Protokollphase
• Erwarten Sie, dass Ihre Ergebnisse sehr unterschiedlich
sein werden?
• Berücksichtigen Sie die zugrundeliegenden Annahmen
der Modelle
• Fixed-effect (fester Effekt)
• Könnte unrealistisch sein – ignoriert Heterogenität
• Random-effects (zufällige Effekte)
• Berücksichtigt Heterogenität
• Die Verteilung der Studieneffekte wird möglicherweise falsch
eingeschätzt, wenn Bias, wenige Studien oder wenige
Ereignisse vorhanden sind
cochrane training
Überblick
•
•
•
•
Was ist Heterogenität?
Annahmen über Heterogenität
Heterogenität erkennen
Heterogenität untersuchen
cochrane training
Heterogenität erkennen
• Beurteilung der Forest plots
• Chi-Quadrat (c2) Test (Q Test)
• I2 Statistik, um die Heterogenität zu quantifizieren
cochrane training
Beurteilung der Forest plots
Forest plot A
Forest plot B
cochrane training
Der Chi-Quadrat (c2) Test
• Testet die Null-Hypothese der Homogenität
• Geringe Power bei wenigen Studien
• Stellt gegebenenfalls klinisch irrelevante Unterschiede bei
vielen Studien fest
• Einschränkung auf Heterogenität (ja/nein) ist nicht hilfreich,
wenn Heterogenität ohnehin vorhanden ist
• Wird automatisch von RevMan berechnet
cochrane training
Die I2 Statistik
• I2 Statistik beschreibt den Prozentsatz der Variabilität, der
auf Heterogenität und nicht auf Zufall zurückzuführen ist
(0% bis 100%)
• Niedrige Werte zeigen keine oder wenig Heterogenität an
• Hohe Werte zeigen viel Heterogenität an
• Wird automatisch von RevMan berechnet
• Seien Sie vorsichtig bei der Interpretation
cochrane training
Die I2 Statistik
cochrane training
Source: Julian Higgins
chi2 = 29.55 df = 13 P = 0.0055
I2 = 56%
chi2 = 6.14 df = 3 P = 0.11
I2 = 51%
Was tun bei Heterogenität
• Überprüfen Sie, ob die Daten korrekt sind
• Berücksichtigen Sie die Heterogenität bei Ihrer Interpretation
• insbesondere wenn die Richtung des Effekte variiert
• Wenn die Heterogenität sehr hoch ist
• Interpretieren Sie Ergebnisse des fixed-effect-models mit Vorsicht
• Erwägen Sie Sensitivitätsanalysen – würde Wahl des random-effectsmodel einen wesentlichen Unterschied machen?
• Überlegen Sie, ob es sinnvoll ist, eine Metaanalyse zu machen
• Gepooltes Ergebnis kann in der Praxis bedeutungslos sein
• Berücksichtigen Sie die klinische und methodische Vergleichbarkeit
der Studien
• Sie sollten nicht
• das Effektmaß oder das Analysemodell zu ändern
• Outlier-Studien auszuschließen
• Untersuchen Sie Gründe für die Heterogenität cochrane training
Überblick
•
•
•
•
Was ist Heterogenität?
Annahmen über Heterogenität
Heterogenität erkennen
Heterogenität untersuchen
cochrane training
Heterogenität untersuchen
• Welche Faktoren scheinen den Effekt zu beeinflussen?
• Klinische Vielfalt (Population, Intervention, Endpunkte)
• Methodische Vielfalt (Studiendesign, Biasrisiko)
• Planen Sie ihre Strategie bereits im Protokoll
• Identifizieren Sie eine begrentzte Anzahl relevanter
Faktoren, die zu untersuchen sind
• Gibt es eine wissenschaftliche Begründung für jeden
gewählten Faktor?
• Erwähnen Sie jegliche post-hoc Untersuchungen
cochrane training
Zwei Ansätze
• Subgruppenanalyse
• Studien nach vorab spezifizierten Faktoren gruppieren
• Betrachten Sie Unterschiede in den Ergebnissen und in der
Heterogenität
• Meta-Regression
• Untersuchen Sie die Interaktion mit kategoriellen und
kontinuierlichen Variablen
• Nicht verfügbar in RevMan
cochrane training
Bei Subgruppenanalysen zu beachten
•
•
•
•
•
•
•
Ergebnisse sind beobachtend und nicht randomisiert
Vorsicht bei multiplen und post-hoc Vergleichen
Bei wenigen eingeschlossenen Studien nicht sinnvoll
Bei aggregierten Studiendaten ggf. nicht möglich
Achten Sie auf Confounder
Folgen Sie Ihrem Protokoll
Bewerten Sie einzelne Ergebnisse nicht über
Ergebnisse sind selten definitiv
cochrane training
Interpretieren von Subgruppenanalysen
• Betrachten Sie die Ergebnisse und die Heterogenität innerhalb
der Subgruppen
• Sind die Subgruppen tatsächlich unterschiedlich?
• wenn es nur 2 Subgruppen gibt – überlappen sich die
Konfidenzintervalle?
• statistische Tests für Subgruppenunterschiede
• Vertrauenswürdiger sind:
• Vorab festgelegte Analysen
• Subgruppenanalysen innerhalb von Studien
• Der Effekt ist klinisch plausibel und unterstützt durch indirekte
Evidenz
cochrane training
Subgruppen nach TeilnehmerInnen
cochrane training
Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of
Systematic Reviews 2008, Issue 1. Art. No.: CD000146. DOI: 10.1002/14651858.CD000146.pub3.
Based on Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of
Systematic Reviews 2008, Issue 4. Art. No.: CD000448. DOI: 10.1002/14651858.CD000448.pub3.
Subgruppen nach Interventionen
cochrane training
Sensitivitätsanalyse
• Nicht das gleiche wie Subgruppenanalyse
• Testet den Einfluss von Entscheidungen, welche während eines
Rewievs gemacht wurden
•
•
•
•
•
•
Einschluss von Studien in den Rewiev
Definition von niedrigem Biasrisiko
Auswahl des Effektmaßes
Annahmen über fehlende Daten
Cut-off-Werte für dichotomisierte Ordinal-Skalen
Korrelationskoeffizienten
• Wiederholen der Analysen mit einer alternativen Methode oder
Annahme
• Präsentieren Sie in der Regel nicht mehrere Forest Plots – sondern
nur die Ergebnisse
• Wenn der Unterschied minimal ist, können sie den Ergebnissen
mehr Vertrauen schenken
• Wenn der Unterschied groß ist, interpretieren Sie die Ergebnisse
cochrane training
mit Vorsicht
Was gehört ins Protokoll?
• Bewertung der Heterogenität
• Bewertung der Vergleichbarkeit der Studien vor der
Metaanalyse
• Visuelle Beurteilung der Forest Plots und Verwendung von
Statistiken wie I2
• Datensynthese
• Fixed-effect oder random-effects-model (oder beide)
• Subgruppenanalyse und Untersuchung der Heterogenität
• Geplante Subgruppenanalysen
• Weitere Strategien zur Untersuchung der Heterogenität
• Sensitivitäsanalyse
cochrane training
cochrane training
Fazit
• Statistische Heterogenität ist das Vorhandensein von
Unterschieden in den Interventionseffekten, die größer sind
als erwartet aufgrund der zufälligen Variabilität
• Sie kann durch klinische und methodische Vielfalt verursacht
werden
• Fixed-effect und random-effects-models machen
unterschiedliche Annahmen über die Heterogenität
• Untersuchen sie jegliche Heterogenität, die sie finden
cochrane training
Quellen
•
Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and
undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook
for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The
Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
Danksagung
•
•
•
•
Zusammengestellt von Miranda Cumpston
Basierend auf Unterlagen von Georgia Salanti, Julian Higgins, Steff Lewis, der Cochrane Statistical
Methods Group, des Australasian Cochrane Centre und des Dutch Cochrane Centre
Englische Version freigegeben vom Cochrane Methods Board
Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg
Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara
Nußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) und
Cochrane Schweiz (Erik von Elm, Theresa Bengough)
cochrane training