Transcript Artikkelin kriittinen arviointi (Psykiatripäivät 2011

Artikkelin kriittinen
arviointi
Jouko Miettunen 18.3.2011
Artikkelin arviointi
Onko tutkimuksen tulos uskottava?
Onko tutkimuksesta hyötyä
kliiniseen työhön?
Evidence Based Medicine
• kliinikon on saatava tutkimustietoa nopeasti ja tiedon on
oltava luotettavaa
• kliinikon on osattava etsiä tietoa, seuloa tietoa ja arvioida
tiedon oikeellisuutta
• mahdollisesti harhaisia tiedonlähteitä
• kollegat, ilmaiset lehdet, lääketehtaiden mainokset ja
lääke-edustajat
• kouluttautuminen
• konferenssit, journal clubs
• lukeminen: yleislehdet, huippulehdet
• perustiedot: oppikirjat, katsaukset
• mahdollisesti myös virheeellistä tietoa
• auttaa potilastyössä
• potilaatkin ovat etsineet tietoa
Fletcher & Fletcher J Gen Intern Med 1997
Kokeellinen vs. epäkokeellinen
tutkimus
Kokeellinen tutkimus (experimental study)
• tutkija päättää käsittelyn eli altistuksen, järjestää
koetilanteen
• vertaillaan tuloksia altistuksen saaneessa ryhmässä ja
muissa ryhmissä
Epäkokeellinen tutkimus, Havaintotutkimus (nonexperimental study, observational study)
• tutkijalla ei ole päätäntävaltaa altistukseen, eli eri
altistusryhmät muodostuvat tutkijasta riippumatta, eikä
altistusryhmien vertailukelpoisuutta ole
• ei aktiivisesti vaikuteta altistumisen jakautumiseen
tutkittavien kesken, eli ei sisällä interventiota tai koetta
• tutkija toimii vain havainnoijana
Tutkimusasetelmien hierarkia
kausaliteetin tutkimisessa
Randomized
Controlled
Trial
5
Stephenson & Babiker Sex Transm Dis 2000
PLOS Medicine 2005;2:e124
HAVAINTOTUTKIMUKSET
Otsikko ja abstrakti
• Tutkimusasetelma hyvä ilmoittaa otsikossa
tai abstraktissa.
• Abstraktin selkeys tärkeää:
– mitä tehtiin ja löydettiin?
– taustatiedot, tutkimuksen tavoitteet
(hypoteesit?), metodit, päätulokset,
johtopäätökset
– strukturoitu abstrakti parempi kuin eistrukturoitu
Vandenbroucke ym. Strengthening the reporting of observational studies in
epidemiology (STROBE). Epidemiology 2007;18: 805–35.
Johdanto
• Aiheen tieteellinen tausta täytyy esittää
riittävissä määrin:
– olennaiset alkuperäistutkimukset
– tärkeät, viimeaikaisimmat katsaukset aiheesta
 mitä tiedetään aiheesta ja mitä puutteita
tiedoissa/tutkimuksessa aiheeseen liittyen on?
• Tutkimuksen tavoitteet:
• sisältäen maininnan tutkimusaineistosta, altisteesta,
vasteesta ja muista tärkeistä muuttujista (jos vain
mahdollista)
• mahdolliset hypoteesit tai kysymykset joihin
tutkimuksella halutaan vastata
Menetelmät
Tutkimusasetelma
– Onko selitetty mahdollisimman tarkkaan? Usein
tutkimuksessa voi olla piirteitä useista eri asetelmista.
– Onko kuvattu lähdeväestö, josta aineisto on kerätty?
Tutkimuksen paikka ja aika (setting)
– tutkimuksen paikka
• mistä tutkittavat kerätty? sairaala, avohoito jne…
• mikä kaupunki, mikä maa?
– tutkimuksen aika:
• tutkittavien keruun ajankohta
• altisteiden, vasteiden ja muiden muuttujien keruun
ajankohta
• seurannan pituus
Tutkittavat - kohorttitutkimus
– Onko selitetty mistä lähdejoukosta ja millä metodilla ja
kriteereillä tutkittavat valittu?
– Onko seurannan metodit selitetty?
– Jos kyseessä kaltaistettu tutkimus (matched study), onko
selitetty kaltaistamisen kriteerit ja altistuneiden ja eialtistuneiden määrät?
Tutkittavat – tapaus-verrokkitutkimus
– Mistä lähdejoukosta ja millä metodilla ja kriteereillä
tapaukset ja verrokit valittu?
– Millä perusteilla tapaukset ja verrokit valittu?
– Jos kyseessä kaltaistettu tutkimus (matched study), onko
selitetty kaltaistamisen kriteerit ja verrokkien määrä per
tapaus?
Tutkittavat – poikittaistutkimus
–
Onko selitetty mistä lähdejoukosta ja millä metodilla ja
kriteereillä tutkittavat valittu?
Muuttujat
– Onko kaikki muuttujat selkeästi selostettu?
• altisteet (exposure)
• vastemuuttujat (outcome)
• sekoittavat tekijät (confounder)
– Onko diagnostiset kriteerit selitetty?
Aineiston/muuttujien lähde, mittaaminen
– Onko selitetty mistä lähteestä muuttujat saatu?
– Millä tavoin muuttujat kerätty/mitattu?
– Onko selitetty miten päädytty tutkittavan aineiston
kokoon? Kato?
Määrälliset muuttujat
– Onko selitetty kuinka muuttujat luokiteltiin ja miksi?
– Onko eri muuttujaluokat kuvattu?
Tilastolliset menetelmät
– Onko kaikki käytetyt tilastolliset menetelmät selitetty?
– Onko selitetty alaryhmille tehdyt analyysit?
Interaktioiden tutkimiseksi tehdyt analyysit?
– Kuinka käsitelty puuttuvaa dataa?
– Kohorttitutkimus – onko selitetty miten kato huomioitu?
– Tapaus-verrokkitutkimus – miten tapausten ja
verrokkien kaltaistaminen (matching) huomioitu?
– Poikittaistutkimus – onko analyyseissä otettu huomioon
aineiston valinnan metodi?
Aineiston kato
– kodittomat, sellaiset joihin ei saada yhteyttä
– jäävätkö sairaammat tai terveemmät katoon?
– esim. rikollisuuteen ja päihteiden käyttöön liittyvä
epidemiologinen tutkimus on vaikeaa, koska nämä
asiat ovat laittomia ja tutkittavat pelkäävät ”kiinni
jäämistä”
– psykiatrisiin häiriöihin liittyvä häpeä, stigman pelko
Haapea ym. Non-participation may bias the results of a psychiatric survey.
Soc Psychiatry Psychiatr Epidemiol 2007; 42:403-9.
Tulokset
• Tuloksissa tulee kertoa mitä löydettiin
alkaen aineiston kuvailusta.
• Päätulokset, avustavat analyysit
• Ei tulkintaa eikä kirjoittajien omia
mielipiteitä
Kuvaileva data
• Tutkittavan joukon ominaisuudet (demografiset,
kliiniset, sosiaaliset) tulee olla kuvailtu. Altisteet ja
mahdolliset sekoittavat tekijät tulee olla kuvailtu
• Jokaisen muuttujan kohdalla tulee ilmoittaa
tutkittavien määrä joilta tämä tieto puuttuu
• Kohortti tutkimuksessa tulee ilmoittaa seuranta-aika
(keskiarvo, keskihajonta ja kokonaisaika)
Päätetapahtumat - outcome
• Kohortti tutkimus—Tapahtumien lukumäärä tai
sopiva yhteenveto tunnusluku
• Tapaus-verrokkitutkimus—Tapahtumien
lukumäärä joka kategoriassa tai sopiva
yhteenveto tunnusluku
• Poikkileikkaustutkimus—Tapahtumien
lukumäärä tai sopiva yhteenveto tunnusluku
Päätulokset
• Vakioimattomat ja sekoittavilla tekijöillä vakioidut
tulokset 95% luottamusväleineen
• Tulee olla selkeästi ilmoitettu millä tekijöillä on
vakioitu ja miksi ne on valittu
• Jos jatkuvia muuttujia on luokiteltu rajat tulee
esittää
• Suhteelliset riskit on hyvä ilmoittaa
absoluuttisina riskeinä sopivaa ajanjaksoa kohti
• Myös muut analyysit - esim alaryhmä analyysit,
interaktiot ja sensitiivisyys analyysit - tulee olla
esitetty
Pohdinta
• Päätulokset vedetään yhteen tutkimuksen
tarkoituksen valossa
• Limitaatio-osassa tulee olla otettu huomioon
mahdolliset harhat (bias), näiden syyt ja
mahdolliset vaikutukset tuloksiin (suunta ja
voimakkuus)
satunnainen virhe ja systemaattinen harha
(random error / systematic bias)
• Virhe (error): tiedon keräämisessä tapahtunut
väärä mittaus
• Harha (bias): tiedon keräämisessä esiintyvä
ongelma kun tietoa kerätään valikoituneesti
tai mittausmenetelmä tuottaa
järjestelmällisesti virheellisen tuloksen
– johtaa todellisen yhteyden heikkenemiseen
– tuoda esille olemattoman yhteyden
– vääristää olemassa olevaa yhteyttä
Systemaattinen harha
• tärkeä tietää ja tunnistaa tutkimuksessa!
• vaikuttaa tutkimuksen ja sen tulosten laatuun
• voi johtua virheistä tutkimuksen asetelmassa,
aineiston keruussa, aineiston analysoinnissa tai
tulosten tulkinnassa (eli missä vain vaiheessa
tutkimusta)
• hyvin useita erilaisia muotoja, esim.:
–
–
–
–
Informaatioharha (information bias)
Mittausharha (measurement bias)
Valintaharha (selection bias)
Julkaisuharha (publication bias)
Berksonin harha
• esimerkki valintaharhasta
• sairaalapotilaat ovat vaikeammin sairaita kuin
tavalliset potilaat ja sairaalapotilailla on
enemmän muuta sairautta
• suurten sairaaloiden potilaillaan tekemät
tutkimukset eivät välttämättä ole
sovellettavissa esim. terveyskeskuksen
potilaisiin
Berkson's bias and the mood dimensions
of bipolar disorder
• In this paper we examined whether manic and depressive dimensions
independently contribute to mental health service use and determined the
degree of comorbidity between manic and depressive dimensions in
individuals with and without mental health service use.
• Netherlands Mental Health Survey and Incidence Study (NEMESIS)
• Dimensions of depression and mania and mental health service use (MHSU)
were assessed with the Composite International Diagnostic Interview (CIDI)
at baseline, and prospectively one and three years later.
• Manic and depressive dimensions contributed independently to mental
health service use.
• Mania-comorbidity given the presence of depressive dimension was
significantly higher in individuals with mental health service use than in those
without, both retrospectively (16.7% versus 7.1%, p = 0.000) and
prospectively (10.8% versus 6.6%, p = 0.017).
• We conclude that the bipolar phenotype consists of manic and depressive
dimensions that may be much more loosely associated than (Berkson)
biased clinical observations suggest.
Regeer ym. Int J Meth Psychiatr Res 2009; 18:279-86.
Tulkinta
• Esitettynä varovainen tulkinta tuloksista ottaen
huomioon tavoitteet, rajoitukset, analyysien
monimuotoisuus, samankaltaisten muiden tutkimusten
tulokset ja muu asiaan liittyvä todistusaineisto
• Tilastollinen merkitsevyys ei sama kuin kliininen
merkitsevyys
• “absence of evidence is not evidence of absence”
Yleistettävyys
• Arvio siitä miten hyvin tutkimuksen tuloksia voi yleistää
(external validity)
KAUSALITEETTI: SYY - SEURAUS
Bradford Hillin - kriteerit
1. Yhteyden voimakkuus (strength)
–
riskitekijän ja sairauden välillä pitää olla selvä ja
voimakas assosiaatio
2. Ajallisuus (temporality)
–
riskitekijän esiintymisen täytyy edeltää sairautta
3. Biologinen mielekkyys (biological plausibility)
–
Syy-seurausuhteelle pitää olla uskottava biologinen
selitys
4. Yhtäpitävyys (consistency)
–
yhteyden tueksi pitää olla löydöksiä eri
tutkimuksista, joissa on käytetty erilaisia
tutkimusasetelmia ja aineistoja
Bradford Hillin - kriteerit
5.
6.
7.
8.
9.
Annos-vaste -suhde (dose-response, biological
gradient)
- mitä enemmän riskitekijää, sitä suurempi
todennäköisyys sairastua
Riskitekijän spesifisyys (specificity)
- tutkittava riskitekijä yksin aiheuttaa sairauden
Sairaus voidaan ehkäistä tai lievittää poistamalla
riskitekijä tai riskitekijää lisäämällä voidaan lisätä
sairastapausten määrää (experiment)
Kuinka hyvin mahdollinen kausaalisuus sopii nykyisiin
teorioihin ja tietoon (coherence)
Ei löydetä muita vakuuttavia selityksiä
Kirjallisuutta
• Fleming JA & Hsieh C-C. Introduction to epidemiological
research methods. Kirjassa: Textbook in psychiatric
epidemiology. Toim. Tsuang MT, Tohen M. John Wiley & Sons,
Inc., 2002.
• Fletcher RH & Fletcher SW. Evidence-based approach to the
medical literature. J Gen Intern Med 1997;12:S5-S12.
• Ioannidis JPA. Why most published research findings are false.
PLoS Med 2005;2:e124.
• Rennie D, Bero LA. Throw it away, Sam: The controlled
circulation journals. Am J Roentgenology 1990;155:889-92.
• Sutton-Tyrrell K. Assessing bias in case-control studies. Proper
selection of cases and controls. Stroke 1991; 22: 938-42.
• Vandenbroucke ym. Strengthening the reporting of
Observational Studies in epidemiology (STROBE).
Epidemiology 2007;18: 805–35.
KLIINISET KOKEET
Taustaa kliinisille kokeille
• Kokeelliset (experimental)
tutkimukset
• Randomized Controlled Trial
(RCT)
• Interventio
• Verrataan uutta hoitoa (lääke,
terapia tms.) joko lume- eli
plasebohoitoon tai aiempaan
vallitsevaan lääkkeeseen
Tutkimusetiikka
• Eettinen lupa tutkimukselle
• Kliinisen kokeiden rekisteröinti
• Lupa tutkittavilta “Informed
consent”
• Riittävän iso otoskoko
(tilastollinen voima, power)
Clinical Trial Phases
Phase 1
Phase 2
Phase 3
Phase 4
Number of
participants
15-30 people
Less than 100 people
Generally, from 100 to
thousands of people
Several hundred to
several to thousand
people
Purpose
 To find a safe
dosage
 To decide how the
agent should be
given
 To observe how the
agent affects the
human body
 To determine if the
agent or intervention
has an affect on a
particular cancer
 To see how the agent
or intervention affects
the human body
 To compare the new
agent or intervention
(or new use of a
treatment) with the
current standard
 To further evaluate
the long- term
safety and
effectiveness of a
new treatment
Altman ym. The revised CONSORT
statement for reporting randomized trials
Otsikko ja abstrakti
• Oliko kyseessä satunnaistettu koe (esim.
“random allocation,” “randomized,” tai
“randomly assigned”)?
Johdanto - Introduction
• Katsaus aiempiin tutkimuksiin ja peruste
(tarve) nykyiselle tutkimukselle
Altman ym. The revised CONSORT
statement for reporting randomized trials
Menetelmät - Methods
• Kriteerit osallistujille, mistä aineisto kerätty
ja tutkimusympäristö (setting)
– diagnoosimenetelmä hyväksyttävä
• Interventio - tarkasti interventio
(lääke+annos, hoito, tms.) mikä kullekin
ryhmälle tehtiin, miten ja milloin?
• Tavoitteet ja hypoteesit
Altman ym. The revised CONSORT
statement for reporting randomized trials
• Vaste (outcome) – Määriteltävä
tärkeimmät ja toissijaiset vasteet,
vasteiden mittaamisen laatu
– tutkittavien koulutus
– luotettavuuden arviointi
• Otoskoko – Miten määriteltiin, tehtiinkö
“interitem” analyyseja?
– Oltava riittävän iso, eettiset ja tieteelliset syyt
– Voimalaskelmat (power analysis)
Altman ym. The revised CONSORT
statement for reporting randomized trials
• Satunnaistaminen (randomization)
– Menetelmät tarkasti (esim. halutaanko ryhmiin
yhtä paljon miehiä ja naisia).
• Potilaan tutkimusryhmän salaaminen
myös tutkijoilta mahdollisimman pitkään
(allocation concealment)
– Menetelmät kuvattava tarkasti
Altman ym. The revised CONSORT
statement for reporting randomized trials
• Toteutus – Kuka värväsi tutkittavat, kuka
määritteli ryhmät, kuka antoi lääkkeen,
kuka analysoi tulokset, …
• Sokkoutus (blinding, masking)
– Sekä potilaat, intervention toteuttajat, vasteen
arvioijat
– Arvioitiinko onnistuiko sokkoutus
– Sokkoutus ei ole aina mahdollista (open trials)
• Leikkaukset, pahat haittavaikutukset, ...
Altman ym. The revised CONSORT
statement for reporting randomized trials
• Onko kuvattu kaikki tilastotieteelliset
menetelmät millä ryhmiä verrattiin
keskenään?
• Oliko lisäanalyyseja, esim. alaryhmien
analyyseja tai adjustoituja analyyseja
• Yleiset ohjeet tilastomenetelmistä soveltuu
myös kliinisiin kokeisiin
Altman ym. The revised CONSORT
statement for reporting randomized trials
Tulokset - Results
• Osallistujien vuokaavio
Altman ym. The revised CONSORT
statement for reporting randomized trials
• Värvääminen – Tutkimuksen alun ja
seurannan ajankohdat (päivämäärät)
• Tutkimuksen alkutilanne – Osallistujien
sosiodemografisia ja kliinisiä taustatietoja
• Sivuvaikutukset (side effects) ja
vaaratapahtumat (adverse events)
– tutkimusryhmittäin
• Analyysien otoskoot, vasteet
• Tulosten varmuus (95% luottamusvälit)
“Intention to treat”
• Hoidon aikomukseen perustuva analyysi
– Kaikki satunnaistetut potilaat otetaan mukaan
analyyseihin riippumatta siitä ovatko
keskeyttäneet tai edes aloittaneet koetta tai
säilyneet ko. lääkkeellä
– Säilytetään satunnaistamisella saatu
tasapaino liittyen ennustetekijöihin
– Kaikista potilaista on kuitenkin saatava tieto
lopputulosmuuttujista
Altman ym. The revised CONSORT
statement for reporting randomized trials
Pohdinta - Discussion
• Tulosten tulkinta
– Onko hypoteesit otettu huomioon?
– Mahdolliset tutkimusharhat ja epätarkkuudet?
– Miten tulkittu tulokset jos useita analyyseja
(useita vastemuuttujia) jotka antaa ristiriitaisia
tuloksia?
Altman ym. The revised CONSORT
statement for reporting randomized trials
• Onko tulokset yleistettävissä?
• Onko tulokset tulkittu suhteessä nykyiseen
tutkimusnäyttöön?
• Onko tutkimuksella seurantaryhmä
(monitoring)?
– Turvallisuus
Rahoitus
• Tutkimuksen rahoittajat ja näiden
tahojen rooli tutkimuksessa tulee olla
esitettynä
• Jos artikkeli perustuu johonkin muuhun
alkuperäistyöhön myös sen rahoittajat
tulee olla ilmoitettuna
Kliiniset kokeet - kirjallisuutta
• Altman ym. The revised CONSORT statement for reporting randomized trials:
explanation and elaboration. Ann Intern Med 2001, 134, 663-94.
• Piaggio ym. Reporting of Noninferiority and Equivalence Randomized Trials.
An Extension of the CONSORT Statement. JAMA 2006, 295, 1152-60.
• Campbell ym. CONSORT statement: extension to cluster randomised trials.
BMJ 2004, 328(7441), 702-8.
• Leucht ym. Second-generation antipsychotics for schizophrenia: can we resolve
the conflict? Psychol Med 2009, 39, 1591-1602.
• McAlister ym. Analysis and Reporting of Factorial Trials. A Systematic
Review. JAMA. 2003;289:2545-2553.
• Collins ym. Methodological standards in schizophrenia research: a critical
survey of clinical trials. Intern J Meth Psychiatr Res 1992, 2, 111-6.
• WHO. Guidelines for good clinical practice (GCP) for trials on pharmaceutical
products, 1995: http://www.vghtpe.gov.tw/~mre/goodexp/FercapSurvey/WHO-GCP-1995.pdf
Meta-analyysien ongelmia
• Alkuperäiset tutkimukset eroavat huomattavasti
toisistaan, joten yhdistäminen ongelmallista
• Tutkimukset eivät ilmoita kaikkia tietoja mitä
haluttaisiin käyttää
• Inkluusiokriteerit vaikuttavat tuloksiin
• Julkaisuharha (publication bias, file-drawer problem)
– Jos tutkimuksen tulokset eivät ole halutun mukaisia
(esim. tilastollisesti merkitseviä), tulokset jätetään
raportoimatta
– Osaratkaisu: kliinisten kokeiden rekisterit
– Cochrane Database for Systematic Reviews kerää
tietyin laatukriteerein tehdyt meta-analyysit
Meta-analyysit kirjallisuutta
• Cook ym. Methodological guidelines for systematic reviews of
randomized control trials in health care from the Potsdam
consultation on meta-analysis. J Clin Epidemiol 1995, 48, 16771.
• Stroup ym. Meta-analysis of observational studies in
epidemiology. A proposal for reporting. JAMA 2000, 283, 200812.
• Blettner M, ym. Traditional reviews, meta-analyses, and pooled
analyses in epidemiology. Int J Epidemiology 1999; 28: 1-9.
• Egger M, Smith GD, Altman DG. Systematic reviews in health
care. 2. painos. Lontoo: BMJ Publishing Group, 2001.
• Sauerland S & Seiler CM. Role of systematic reviews and
meta-analysis in evidence-based medicine. W J Surgery
2005;29:582-7.
[email protected] - www.joukomiettunen.net/presentations