Transcript Qualitätssicherung

Qualitätssicherung
wissenschaftlicher
Informationen
in Datenbanken
Dr. C. Behles
Ombudsmann des Bundesinstituts für Arzneimittel und Medizinprodukte (BfArM)
Wissenschaftliche Information
- Kriterien zu Qualität und Verwertbarkeit
vollständig?
relevant?
gefundene Arbeiten
entstanden auf der
Grundlage ‘unabhängiger‘
Forschung?
Eingang in die Praxis?
Fehlinformation/
Fälschung?
geeignet als
Entscheidungshilfe?
Systematische Arbeit mit der Literatur:
Informationsflut, verfügbare Lesezeit
2 Mio. Artikel in 10000 Fachzeitschriften
9000 randomisierte Studien/Jahr
Für Aktualität zu lesen:
19 Artikel/Tag an 365 Tagen/Jahr

Informationsquellen:
– Lehrbücher: meist überholt
– Fachzeitschriften: desorganisiert
Olkin, 1995; Davidoff, 1995
Arbeitszeit:
Stage of carreer
Medical students
House officers
Senior house officers
Registrars
Senior Registrars
Consultants grad. since 1975
Consultants grad. pre-1975
Range of median reading
times per week
60 - 120 min
0 - 20 min
10 - 30 min
10 - 90 min
10 - 45 min
15 - 60 min
10 - 45 min
Sackett, 1996
Vergleich:
Datenbankrecherche/Experte
Nr
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Autor
Adler
Di Silveiro
Galligioni
Galliginoi
Hayata
Jurincic-Winkler
Juusela
Naito
Piva
Pizzocaro
Pizzocaro
Pizzocaro
Porzsolt
Prummer
Selvaggi
Trump
Yamada
Summe
Journal
J. Biol.Resp. Modif.
Arch. Espan. de Urol.
Ann. N.Y. Acad. Sci.
Cancer
Nishininon J. Urol
Wien. Klein. Wochenschr.
Scan. J. Urol. & Nephrol.
J. Jap. Soc. Canc. Ther.
Acta Uro. Ita.
J. Urol.
J. Urol.
Arch. Ital. Urol. Nefro. Androl.
Am. Soc. Clin. Oncol.
Cancer
Acta urol. ital.
Proc. Am. Soc. Clin. Oncol.
Acta. Urol. Jap.
Jahr Experte Medline Embase Bemerkung
x
1987
x
1991
x
x
1993
update zu 3
x
x
1996
x
1994
x
x
1994
x
x
1977
x
1996
update zu 12?
x
1996
Vorbespr. zu 11
x
x
1986
x
x
x
1987
x
1993
x
1992
x
x
(x)
1993
x
1992
x
1996
x
x
1993
7
8
12
Recherchen zu: Adjuvante Therapie beim Nierenzellkarzinom (1996)
Vergleich der Ergebnisse von MedlineSuche und Handsuche
Recherchen zu RCT und CCT in deutschen Fachzeitschr. (1948-1998)
2500
Handsuche
Studienanzahl
2000
Medline
1500
1000
500
Handsuche: Gesamtzahl
der Studien, die über die
manuelle
Suche
identifiziert worden sind.
Medline:
Anzahl
der
Studien, die von den
manuell identifizierten in
Medline enthalten sind
0
RCT
CCT
Von bisher 6844 Studien waren nur 3986 (58%) in Medline enthalten
 Von diesen 3986 Studien werden bei einer Medline-Recherche erfahrungsgemäß nicht
annähernd 100% gefunden (Haynes)
 Daher kann eine Medline-Recherche allein nicht Grundlage der Erstellung von unverzerrten
Übersichtsarbeiten sein
Übersichtsarbeiten
Übersichtsarbeiten: Vorteile





Erfassung aller für die Fragestellung
relevanten Literatur
Methodisch einwandfreie Synthese
Aufarbeitung der Synthese und Verbreitung
Verdichtung einzelner Artikel aus der
Primärliteratur
Diskussion unter Berücksichtigung der
gesamten relevanten Literatur
Übersichtsarbeiten:
Problemfelder
Erfassung aller für die Fragestellung relevanten
Literatur
Methodisch einwandfreie Synthese
Aufarbeitung der Synthese und Verbreitung
Verdichtung einzelner Artikel aus der
Primärliteratur
Unvermeidbar: Selektionsfehler
Übersichtsarbeiten: Bias

Publikationsbias
– Nicht-Veröffentlichung von Studien mit nichtsignifikanten
Therapievergleichen durch Wissenschaftler und Zeitschriften
– systematische Überschätzung des Gesamteffekts aufgrund der
fehlenden Berücksichtigung von Studien mit nichtsignifikanten
Resultaten, also kleinen Effekten

Retrieval-Bias
– Keine sichere Methode vorhanden, um veröffentlichte Studien
aufzufinden
> Berücksichtigung von oft nur 50% der für eine Therapie relevanten
Studien
– Nichtberücksichtigung von Datenbanken
– Verbesserung: Studienregister; Indizierung und Suchtechniken in
Datenbanken
Übersichtsarbeiten: Bias

English/Non-English Language Bias
– Systematische Unterschiede in den Publikationen
von klinischen Studien im englisch vs. nichtenglisch-sprachigen Raum
> Qualität: Nein (Moher et al. 1996)
> Signifikanz der Ergebnisse: Ja (Egger et al. 1997)

Weitere:
– Reporting Bias,
– „non-honest“ Bias (Besprechung folgt später)
Forderungen an eine Evidence Based
Medicine






Klinische Entscheidungen auf der Basis der besten
verfügbaren Evidenz
Systematische Identifikation von Evidenz (unter Einbezug
medizinischer Datenbanken)
Beurteilung der gefundenen Evidenz anhand klinischepidemiologischer Prinzipien (critical appraisal)
Prüfung der Anwendbarkeit der gefundenen wissenschaftlichen
Evidenz im Rahmen des gegebenen klinischen Problems
Evaluation des Erfolgs der medizinischen Maßnahme
Kontinuierliche Prüfung der Adäquanz der ärztlichen Leistung
bezüglich des neuesten wissenschaftlichen Wissenstands
(Aus- und Fortbildung)
Die Cochrane Collaboration
Preparing, maintaining and disseminating systematic
reviews of the effects of health care
Internationals Netzwerk
von z.Zt über 5000 Wissenschaftlern
Die Cochrane Collaboration


1972: Archie Cochrane : „Effectiveness and
Efficiency: Random Reflections on Health
Services“
1974: Pilot - Projekt: „Effective Care during
Pregnancy and Childbirth“. 600 systematische
Reviews (I. Chalmers et al. 1989)

1992: Gründung des UK Cochrane Centers

1993 Gründung der Cochrane Collaboration
Organisationsstruktur der
Cochrane Collaboration




Cochrane Zentren:
organisatorisches Rückrat (z.Zt. 16)
Reviewgruppen:
Vorbereiten, Erstellen und Aktualisieren von Reviews
Methods Working Groups:
z.B. Statistical Methods; Informatics; Applicability of
Reviews, u.a.
Steering Group:
U:A: Urheberrechte; Preisgestaltung,
Grundsatzfragen der Begutachtung
Was ist neu oder anders?

Systematisierung und Standardisierung,
Transparenz („Leitlinien für
Übersichtsarbeiten“)

Titelregistrierung und Protokoll

Permanente Aktualisierung


Integration eines „Kommentar- und
Kritikprozesses“
Internationale Kooperation, Networking
(„Globalisierung“)
Evidence Based Medicine und
Cochrane Collaboration

I.
Levels of Evidence
wenigstens ein systematisches Review auf der
Basis methodisch hochwertiger RCTs
II. wenigstens ein ausreichend großer methodisch
hochwertiger RCT
III. methodisch hochwertige Studien ohne
Randomisierung (Kohorten-, Fall-Kontrolle-Studie)
IV. mehr als eine methodisch hochwertige,
nichtexperimentelle Studie
V. Meinungen von respektierten Autoritäten (aus
klinischer Erfahrung), Expertenkommissionen,
beschreibende Studien
Die Situation im
deutschsprachigen Raum




Deutsches Cochrane Zentrum in Freiburg
(gefördert durch das BMBF)
großes Interesse an Reviews: wissenschaftlicher Input für
Bewertungen und Leitlinien
(Qualitätssicherung, Guidelines, Kostendruck)
Diskussion bei Spitzenverbänden, z.B. AQS, ÄZQ, Bundesausschuß
Ärzte und Krankenkassen, Kassen
Information und Diskussion:
– Publikationen, regelmäßiger Rundbrief, feste Rubrik in der ZaeFQ

wenig Review-Aktivitäten
– erste Editorial Bases: Hämatologie (Köln); Diabetes (Düsseldorf)
– einzelne Reviews: unkonventionelle Medizin, Chirurgie



Dissemination über Bibliotheken und das DGN
EBM-Netzwerk
Schweiz, Österreich
Wasser in den Wein :
Forschungsfälschung?
Forschungsfälschungen

prominente Beispiele der Fälschung bezichtigter
Forscher der 90er Jahre:
– Lohmann (Giessen; 1990)
– Baltimore (Medizin-Nobelpreis 1975) /
Thereza Imanishi-Kari (Tufts University; 1991)
– Zadel (Bonn; 1994)
– Fisher (Pittsburgh; 1995)
– McLachlan (Tulane; 1996)
– Herrmann / Bracht (Ulm/Lübeck; 1997)
– Schell und Reiß (MPI-Köln; 1998)

die meisten bekanntgewordenen Vorwürfe sind in den
USA erhoben worden
Forschungsfälschungen
Der Fall Herrmann/Bracht
 vermutet: 47 Artikel mit gefälschten Daten

Recherche im DIMDI-Datenbankcluster XMED
(21 Datenbanken im Bereich Humanmedizin):
Man findet 20 inkriminierte Dokumentationseinträge
zu insgesamt 8 zurückgezogenen Publikationen :
>
>
>
>
>
Medline:
Cancerlit:
Embase:
Elsevier Biobase:
Scisearch
8
3
2
1
6
Forschungsfälschungen
- persistierende Fehlinformationen
Arbeit von Pfeiffer und Snodgrass , 1990:


82 gefälschte und zurückgezogene Artikel
wurden nach der Rücknahme 733 mal zitiert
dabei sind keine signifikanten Unterschiede
feststellbar hinsichtlich :
– Bekanntheitsgrad der Zeitschrift
– Herkunftsland/Sprache des Autors
Das Problem der „Fehler“
Honest Errors versus Scientific Fraud
Gesamtzahl der DE in MEDLINE, EMBASE und
SCISEARCH 1990-1998 (21.07.98)
13.255.468
davon :
Corrections
49.822
0,4%
Retractions
1.400
0,01%
Fraud
10.573
0,08%
„echte“ Fälsch.
51
0,0004%

Das Problem des „non-honest“
bias

finanzielle ‘Kontakte‘ (Forschung  Industrie)
Arbeit von H. T. Stelfox et. al:
Meinung zum Einsatz
von Ca-Antagonisten
Befürworter
Neutrale
Kritiker
Wahrscheinlichkeit einer
finanziellen Beziehung zu
einem Pharmaunternehmen
96%
60%
37%
Über-/Fehlbewertung
wissenschaftlicher Erkenntnis
Bsp. ‘Pille‘ der dritten Generation
 November 1995:
– Erstmalige Anordnung von Anwendungsbeschränkungen

Bescheid des BfArM vom 31.01.97:
– Die 1995 angeordneten Anwendungsbeschränkungen
werden erneut bestätigt

Pressemeldung aus der PZ Nr. 37, 1997:
– Hinweis aus London  Fehlinterpretation
epidemiologischer Daten

Pressemeldungen zur Entscheidung des Berliner
Verwaltungsgerichts
Umgang mit Forschungsfälschungen
- Praxis der Datenbankhersteller
Wer hat das Recht,
eine Publikation zurückzuziehen?
Praxis der National Library of
Medicine (NLM)
Zum Eingreifen berechtigt sind...
 Autoren
 wissenschaftliche Einrichtungen (Dienstherr)
und institutionelle Sponsoren des Autors
(Finanzträger)
 Herausgeber und Verleger der Journale
Artikel bleiben in der Datenbank,
werden aber eindeutig gekennzeichnet
NLM: Kennzeichnung von
Forschungsfälschungen
Gekennzeichnet werden: “Errata“, “Retraction“,
“Duplicate Publication“, “Comments“
Zurückziehung von Publikationen
 Beanstandete Dokumente:
– im Titel: “Retracted“
– im Feld Document Type (DT): “Retracted Publication“

Neue, korrigierende Dokumentationseinheiten
– im Titel: “Retraction of...“
– im Feld DT: “Retraction of Publication“
Anspruch und Umsetzung ...
Recherche in der Superbase-Gruppe XMED
(21 Datenbanken - Bereich Humanmedizin):
Ausgewählt wurden 19 der von der NLM im
Zeitraum 22.05.97 - 14.05.98
zurückgezogenen 33 Publikationen
Suchergebnis aus XMED
Datenbank
inkrim. DE (ges.)
gekennz. DE
korrig. ‘Neu‘- DE
Medline (NLM)
19
5*
19
Cancerlit (NLM)
14
3 **
-
Biosis Previews
15
8
Embase
15
4 ***
-
Elsevier Biobase
11
-
7
Scisearch
16
-
17****
SOMED
1
-
-
Derwent Drug File
2
-
-
CAB-Health
1
-
-
8
*) 4 DE mit DT=“Retracted Publication“; 1 DE mit DT=“Withdrawn at“; **) keine korrigierenden DE mit
Dt=“Retraction of“ vorhanden; ***) doppelte ‘Alt‘-DE (gekennzeichnete und nicht gekennzeichnete DE);
****) zusätzliches Retraction-Notice-Document zu einem nicht vorhandenen Dokument
Problem: Falschanschuldigung
Der Fall Bernhard Fisher

1994 durch Journalisten der Chicago Tribune der
Forschungsfälschung bezichtigt

als NSBABP-Direktor (National Surgical Brest and Bowel
Project) abberufen

unter dem Druck des National Cancer Institute
kennzeichnet die NLM die Artikel des NSBABP in ihren
Datenbanken mit dem Vermerk „scientific misconduct“

Fisher klagt dagegen und gewinnt den Prozeß;1997 wird
seine Unschuld auch vom ORI bestätigt
Wiederherstellung seiner Reputation gestaltet sich äußerst
problematisch (Sekundärprodukte von NLM-DB...)
Was tun ?
Staatliche Kontrollmechanismen
- Beispiel USA
Office of Research Integrity (ORI)
staatliche Kontrollmechanismen für alle
Forscher, die vom Department of Health and
Human Services (DHHS) gefördert werden
Forschungsfälschung Initiativen der Wissenschaft
Bsp. Denkschrift der DFG:
„Sicherung guter wissenschaftlicher Praxis“
Selbstreinigungsmechanismen