Transcript Reporting biases - Cochrane Training

Small-study effects und
Reporting-Bias
Schritte eines systematischen Cochrane
Reviews
1. Fragestellung festlegen
2. Auswahlkriterien definieren
3. Methoden definieren
4. Studien suchen
5. Auswahlkriterien anwenden
6. Daten extrahieren
7. Bias-Risikos der Studien bewerten
8. Ergebnisse analysieren und darstellen
9. Ergebnisse interpretieren und Schlussfolgerungen ziehen
10. Review optimieren und aktualisieren
cochrane training
Übersicht
• ‘Small-study effects’ erkennen
• Reporting-Bias verstehen
Siehe im Handbuch Kapitel 10
cochrane training
Zur Erinnerung: Zufallsfehler
• Wenn mehrere Studien einen Effekt
schätzen, ist jede Studie vom
Zufallsfehler betroffen
• Die Schätzer liegen verteilt um den
wahren Effekt – einige niedriger,
einige höher
Zufallsfehler
Effektschätzer Wahrer
Effekt
Quelle: Julian Higgins
cochrane training
Zufallsfehler und kleine Studien
• Beim Zufallsfehler wird angenommen, dass…
• kleine Studien weniger genau sind wie große Studien
• die Schätzer weiter um den Mittelwert streuen
• Small-study effects
• wenn kleine Studien konsistent positive oder negative
Ergebnisse haben als große Studien
• eine mögliche Ursache für Heterogenität
• verschiedene Erklärungen möglich
cochrane training
Small-study effects erkennen
• Muss für jeden Endpunkt einzeln bewertet werden
• Verfügbare Methoden:
• Funnel Plots
• Statistische Tests
• Sensitivitätsanalysen
• Ggf. StatistikerIn um Rat fragen
cochrane training
Funnel Plots
• Tragen Effektgröße gegen Studiengröße auf
• Studiengröße wird meist durch ein Maß wie Standardfehler angegeben
• Studien streuen um den kombinierten Effektschätzer
• Größere Studien am oberen Ende, kleinere Studien weiter unten
• Man erwartet, dass kleine Studien breiter streuen
• Ein symmetrischer Graph sieht wie ein umgekehrter Trichter
(‘funnel’) aus
• In RevMan können Funnel Plots erstellt werden
• Ist in der Regel sinnvoll interpretierbar ≥ 10 Studien mit
verschiedener Größe vorhanden sind
cochrane training
Symmetrischer Funnel Plot
Standardfehler
0
1
2
3
0.1
0.33
0.6
Effekt
Quelle: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
Asymmetrischer Funnel Plot
Standardfehler
0
1
Unpublizierte
Studien
2
3
0.1
0.33
0.6
Effekt
Quelle: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
Asymmetrischer Funnel Plot
Standardfehler
0
1
Kleine Studien
haben alle
positive
Effektschätzer
2
RR
3
0.1
0.33
0.6
Effekt
Quelle: Matthias Egger & Jonathan Sterne
1
3
10
cochrane training
Kolloide vs. Kristalloide für
Volumenersatztherapie
Tod
Adaptiert von: Perel P, Roberts I. Colloids versus crystalloids for fluid resuscitation in critically ill patients.
Cochrane Database of Systematic Reviews 2011, Issue 3.
cochrane training
Magnesium bei Herzinfarkt
cochrane training
Adaptiert von: Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction.
Cochrane Database of Systematic Reviews 2007, Issue 2.
Gründe für Asymmetrie im Funnel Plot
• Zufall
• Artefakte
• Einige statistische Größen sind mit dem Standardfehler
korreliert, z.B. OR
• Klinische Unterschiede
• Unterschiedliche Studienpopulation in kleinen Studien
• Implementierung ist anders in kleinen Studien
• Methodische Unterschiede
• Größeres Bias-Risiko in kleinen Studien
• Reporting-Bias
Quelle: Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629
cochrane training
“verbesserte” Funnel Plots mit Konturen
Quelle: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot
asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
cochrane training
Asymmetrie durch Heterogenität
Quelle: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot
asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
cochrane training
Tests für Funnel-Plot-Asymmetrie
• Ist die Assoziation zwischen Studien- und Effektgröße
größer als zufällig zu erwarten wäre?
• Drei Tests werden empfohlen
• Sie haben generell eine geringe stat. Power, um ReportingBias auszuschließen
• Zusätzlich sollte Form des Funnel Plot betrachtet werden
• In der Regel nur sinnvoll interpretierbar ≥ 10 Studien
versch. Größe vorhanden sind
Siehe im Handbuch Kapitel 10.4.3
cochrane training
Sensitivitätsanalyse
• Wie stark wirkt sich ein Effekt durch kleine Studien auf die
Ergebnisse aus?
• Bei Bedarf StatistikerIn fragen bevor Sie fortfahren
• Falls Heterogenität (I2 > 0), die Schätzer aus dem Fixed-effect
und dem Random-effects Modell vergleichen
• Gibt es einen Unterschied?
• Wenn ja, gibt es einen Grund, warum die Intervention in
kleineren Studien wirksamer bzw. weniger wirksam sein könnte?
• Selektionsmodelle (z.B. ‘trim & fill’) und andere Methoden
cochrane training
Sensitivitätsanalyse
Adaptiert von Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial
infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
Übersicht
• Small-study effects erkennen
• Reporting-Bias verstehen
cochrane training
Verbreitung von Evidenz
Nicht
verfügbar
(unpubliziert)
Quelle: Matthias Egger
Evtl.
verfügbar
(Doktorarbeiten,
Konferenzbeiträge,
kl. Journale)
Leicht
verfügbar
Aktiv
verbreitet
(Medlineindexiert)
(News, PharmaFirmen)
cochrane training
Reporting-Bias
• Verbreitung von Forschungsergebnissen wird von Art und
Richtung der Ergebnisse beeinflusst
• Statistisch signifikante (‘positive’) Ergebnisse werden eher
publiziert…
• …und werden daher mit höherer Wahrscheinlichkeit in einem
Review berücksichtigt
• Dies führt zur Überschätzen von Effekten
• Da große Studien sehr wahrscheinlich publiziert werden,
sind v.a. kleine Studien betroffen
• Für Ihren Review sind die nicht-signifikanten Ergebnisse
genauso wichtig wie die signifikanten
cochrane training
Evidenz für Reporting-Bias
Anteil nicht
publizierter
Studien
Signifikant
Nicht-signifikanter Trend
Null
Jahre seit Durchführung
cochrane training
Quelle: Stern JM, Simes RJ. Publication bias: evidence of delayed publication in a cohort
study of clinical research projects BMJ 1997;315:640-645.
‘Positive’ Studien werden …
Geplant
• eher zur Publikation eingereicht und
akzeptiert (Publikationsbias)
• schneller publiziert (Time-Lag Bias)
Durchgeführt
• in mehreren Artikeln publiziert
(Multiple publication bias)
Eingereicht
Publiziert
Zitiert
Quelle: Julian Higgins
• auf Englisch publiziert (Sprach-Bias)
• in indexierten ‘high-impact’ Journalen
publiziert (Location-Bias)
• von anderen zitiert (Zitationsbias)
Auch ‘positiv’ Endpunkte werden bevorzugt
berichtet (Outcome Reporting Bias)
cochrane training
Beispiel:
Alpha-Blocker bei Bluthochdruck
• Nur 10 Studien gefunden, die jedoch verschiedene
Dosierungen verwendet haben
• Medikamente wurden von Behörden zugelassen. Daher
mussten auch Studien durchgeführt und Ergebnisse
eingereicht worden sein
• Aber nur wenige Studien wurden gefunden
• Für viele Dosierungen, die von Behörden akzeptiert wurden, gab
es keine publizierte Evidenz
• Für einige Dosierungen gab es überhaupt keine publizierten
Daten
Quelle: Nancy Santesso and Holger Schünemann. Based on Heran BS, Galm BP, Wright JM. Blood pressure lowering
efficacy of alpha blockers for primary hypertension. Cochrane Database of Systematic Reviews 2009, Issue 4
cochrane training
Beispiel: Antidepressiva
cochrane training
Quelle: Moreno, S. G., A. J. Sutton, et al. Novel methods to deal with publication biases: secondary analysis of
antidepressant trials in the FDA trial registry database and related journal publications. BMJ 2009, 339.
Folgen des Publikationsbias
Hopewell S, McDonald S, Clarke MJ, Egger M. Grey literature in meta-analyses of randomized trials of health care
interventions. Cochrane Database of Systematic Reviews 2007, Issue 2.
cochrane training
Was bedeutet das für meinen Review?
• Vorbeugen
• Eine umfangreiche Suche in mehreren Quellen
• Suche von ‘grey literature’, nicht-englischsprachiger Literatur; Handsuche
• Studienregister
• Erkennen
• ‘ Small-study effects ’ sollten gesucht werden
• Sensitivitätsanalyse, um ihre möglichen Auswirkungen zu untersuchen
• Publikationsbias ist nicht die einzige Erklärung
• Es gibt kein Allheilmittel
• Gefundene ‘Small-study effects’ sollten weiter untersucht werden
• Im Review sollte zur Wahrscheinlichkeit von Reporting-Bias Stellung
genommen werden
cochrane training
Was sollte im Protokoll geschrieben werden
• Wie Reporting-Bias bewertet wird (‘Assessment of reporting biases’)
• Optionale Verwendung von Funnel plots oder statistischer AsymmetrieTests
cochrane training
Fazit
• In Ihrem Review sollten Sie nach sog. ‘Small-study
effects’ suchen
• Zahlreiche mögliche Ursachen in Betracht ziehen
• Mögliche Auswirkungen von Reporting-Bias beachten
• Wenn unsicher, Rat von StatistikerIn einholen
cochrane training
Quellen
•
•
•
Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases.
In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of
Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration,
2011. Available from www.cochrane-handbook.org.
Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997;
315: 629
Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and
interpreting funnel plot asymmetry in meta-analyses of randomised controlled
trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002
Danksagung
•
•
•
•
Zusammengestellt von Miranda Cumpston
Basierend auf Unterlagen von Jonathan Sterne, Matthias Egger, Julian Higgins, David Moher,
Nancy Santesso, Holger Schünemann, Cochrane Bias Methods Group, des Australasian
Cochrane Zentrums und Cochrane Applicability and Recommendations Methods Group
Englische Version freigegeben vom Cochrane Methods Board
Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg
Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara
Nußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) und Cochrane Schweiz (Erik
von Elm, Theresa Bengough)
cochrane training