Transcript Reporting bias - Evidence Based Nursing

Master EBP e Metodologia della ricerca clinico-assistenziale
Contenuto della presentazione
Etica della ricerca clinica e delle pubblicazioni scientifiche
28.02.2014
- publication bias
Reporting bias
- selective outcomes reporting bias
- soluzione del problema
Vittorio Basevi e Nicola Magrini
1
2
Reporting bias
3
4
Sterne JAC et al (eds). Cochrane Handbook V 5.1.0 [updated March 2011]
Dalla ricerca alla pubblicazione
Publication bias
is the tendency on the parts of investigators,
reviewers, and editors to submit or accept
manuscripts for publication based on the
direction or strength of the study findings
-Kay Dickersin
5
Dickersin K. JAMA 1990;263:1385-9
6
Dwan K et al. PLoS ONE 2008;3:e3081
Da abstract a pubblicazione integrale
risultati positivi vs
non positivi
RR: 1.28 [IC 95%:
1.15, 1.42 ]
OR: 3.90 [IC 95%:
2.68, 5.68 ]
7
Sterne JAC et al. Cochrane Handbook V 5.1.0 [updated March 2011]
8
Scherer RW et al. Cochrane Database Syst Rev 2007;2:MR000005
Dal protocollo alla pubblicazione
Trials supporting new drugs, 1998-2000
studi pubblicati:
66% degli studi con risultati
statisticamente significativi
risultati significativi
vs non significativi
OR: 2.6 [IC 95%:
2.0, 3.4]
36% degli studi con risultati
statisticamente non
significativi
9
Lee K et al. PLoS Med 2008;5:e191
10
Reboxetine vs placebo
11
Eyding D et al. BMJ 2010;341:c4737
von Elm E et al. Swiss Med Wkly 2008;138:197-203
Reboxetine vs placebo
12
Eyding D et al. BMJ 2010;341:c4737
Studi su 12 antidepressivi
Il bias modifica l’effect-size
studies of 12
antidepressant
agents
involving
12,564
patients
Stima dell’efficacia
basata sugli studi
pubblicati: superiore a
quella basata su tutti i
dati raccolti in FDA.
Per l’intera classe
di farmaci, la
stima
dell’efficacia è
aumentata di
32%.
13
Turner EH et al. N Engl J Med 2008;358:252-60
14
Turner EH et al. N Engl J Med 2008;358:252-60
16
Barr E et al. Am J Obstet Gynecol 2008;198:261.e1-e11
Risultati e conclusioni in metanalisi
37% degli studi finanziati
dall’industria: mancata
concordanza fra risultati e
conclusioni
15
Yank V et al. BMJ 2007;335:1202-5
CIN1+ da tutti i tipi, North America, ITT
Conclusione 1
- studi positivi hanno una maggiore probabilità
di essere pubblicati di studi negativi
- studi con risultati statisticamente significativi
hanno una maggiore probabilità di essere
pubblicati di studi con risultati statisticamente
non significativi
- negli studi pubblicati, le conclusioni possono
essere non essere coerenti con i risultati
b
17
Data are given as percent reduction (95% CI)
Barr E et al. Am J Obstet Gynecol 2008;198:261.e1-e11
18
Contenuto della presentazione
Outcome reporting bias
- publication bias
The selective reporting of some outcomes but not
others, depending on the nature and direction
of the results
- selective outcomes reporting bias
- soluzione del problema
19
20
Sterne JAC et al (eds). Cochrane Handbook V 5.1.0 [updated March 2011]
Bias nel reporting di RCT
non riportati integralmente (102
RCT):
- 50% degli esiti di efficacia
(benefici)
- 65% degli esiti avversi (danni)
coorte di RCT approvati
da comitati etici danesi,
1994-95
21
Chan A-W et al. JAMA 2004;291:2457-65
22
Chan A-W et al. JAMA 2004;291:2457-65
24
Chan A-W et al. JAMA 2004;291:2457-65
Esempi di discrepanze
23
Chan A-W et al. JAMA 2004;291:2457-65
Outcome in registri vs pubblicazioni
sample of 86 trials with full CSRs received for 16 HTAs of drugs by IQWiG,
15.01.06-14.02.11
non disponibili pubblicamente:
risultati significativi
vs non significativi
OR: 2.7 [IC 95%:
1.5, 5.0]
25
Chan A-W et al. CMAJ 2004;171:735-40
86% degli outcome di beneficio
88% degli outcome di danno
26
Wieseler B et al. PLoS Med 2013;10:e1001526
Conclusione 2
Contenuto della presentazione
pubblicazione selettiva degli esiti più favorevoli
- publication bias
sia quando il finanziatore è privato sia quando è
pubblico
- selective outcomes reporting bias
- (tentativi di) soluzione del problema
27
28
La soluzione al reporting bias
29
De Angelis C et al. Ann Intern Med 2004;141:477-8
ICMJE settembre 2004
30
De Angelis C et al. Ann Intern Med 2004;141:477-8
31
www.who.int/ictrp/en/
32
Abaid LN. Obstet Gynecol 2007;109:1434–7
WHO ICTRP
The WHO ICTRP is not a clinical trials registry
(you cannot register a trial with WHO)
To meet the requirements of ICMJE you can
register your trial with any WHO Primary
Registry or an ICMJE approved registry
To meet WHO requirements for transparency
and publication, it is only necessary for your
trial to be registered once, in either a WHO
Primary Registry or an ICMJE approved
registry
33
www.who.int/ictrp/en/
≈52%
34
Viergever RF et al. PLoS ONE 2014;9:e84727
Publication bias nei trial registrati
Trial registrati >1999 e pubblicati ≤2007
10% random subsample of completed trials registered in the
ClinicalTrials.gov database after 31.12.99 and updated as
having been completed by 08.06.07
Publication bias:
54%
(industria 60%)
35
Ross JS et al. PLoS Med 2009;6:e1000144
36
Ross JS et al. PLoS Med 2009;6:e1000144.
Publication bias nei trial ≥500 partecipanti
37
585 registered trials, 171 (29%; n = 299.763) unpublished
non-publication more common among trials that received industry funding
(150/468, 32%) than those that did not (21/117, 18%), p=0.003
133/171 unpublished trials (78%) had no results available in
ClinicalTrials.gov.
Jones CW et al. BMJ 2013;347:f6104
Outcome reporting bias nei trial registrati
selective
outcomes
reporting: 31.3%
38
Mathieu S et al. JAMA 2009;302:977-84
Conclusione 3
Outcome reporting bias nei trial registrati
- I registri costituiscono un passo in avanti, ma
c’è ancora molta strada da fare
modifiche in 152 RCT:
target sample size 118
(77.6%)
primary outcome 59 (38.8%)
39
Huic M et al. PLoS ONE 2011;6:e25258
registrare tutti i trial
pregressi e attuali
riportandone
integralmente metodi e
risultati
- BMJ, Centre for E-bM, Cochrane Collaboration,
James Lind Initiative, PLoS
- 1. Dati relativi alla registrazione del trial
2. Sintesi dei risultati del trial
3. Dati completi su metodi e risultati del trial
4. Dati dei singoli pazienti
41
http://www.alltrials.net/
40