Transcript Hvad er kritisk vurdering af artikler?

Kritisk vurdering
af forskningslitteratur
Modul 13
Udarbejdet af Lea D. Nielsen,
Sygeplejerskeuddannelsen, UC Syddanmark
Esbjerg, efterår 2011
Udarbejdelse af kliniske retningslinjer - processen
Identificering af problemstilling
Udarbejdelse af
fokuserede spørgsmål
Udarbejdelse af søgestrategi
Systematisk
litteratursøgning
Vurdering af litteratur
Inkludering af litteratur
Ekskludering af litteratur
Resumering i evidenstabel
Udarbejdelse af anbefalinger
Kritisk vurdering og udvælgelse af
litteratur;
Søgningen gennemgås:
Artikler udvælges på baggrund af titel og/eller
abstract
Relevante
artikler
rekvireres i
fuldtekst.
Artikler gennemlæses ud fra in- og
eksklusionskriterie / fokuserede
spørgsmål i forhold til relevans
Artikler
forkastes
Udvalgte artikler gennemgås kritisk ud
fra tjeklister
Artikler forkastes ud fra
tjeklister/kritisk vurdering af
metode
Artikler inkluderes i endeligt
materiale
Artikler forkastes på
baggrund af titel/abstract ud
fra in- og eksklusionskriterier og de fokuserede
spørgsmål
Hvad står der i skabelonen?
Vurdering af litteratur via relevant tjekliste og
evidenshieraki. Evidenstabel skal udfyldes og
fremvises som bilag
• Hvad forstår I ved kritisk vurdering?
• Hvordan kan I kritisk vurdere de undersøgelser
i udvælger?
Hvad er kritisk vurdering af artikler?
At evidensvurdere vil sige at vurdere kvaliteten af de
undersøgelser, man har fundet.
Man vurderer undersøgelsens:
- Relevans
- Troværdighed
- anvendelighed
Hvordan kritisk vurderer vi artikler?
• I en evidensvurdering vurderes hver enkelt artikels videnskabelige kvalitet.
Vurderingen skal foregå udfra ensartede kriterier, der er fastsat på forhånd.
Til hjælp foreligger der nationale og internationale tjeklister, der anvendes
for at sikre sig, at man har taget stilling til alle aspekter af artiklen.
• Sekretariatet for Referenceprogrammer under Center for Evaluering og
Medicinsk Teknologivurdering har oversat australske tjeklister til både
oversigtsartikler (reviews), metaanalyser, randomiserede kontrollerede
undersøgelser, kohorte studier, case-control studier og diagnostiske tests.
• Disse tjeklister anvendes i regi af Center for Kliniske Retningslinjer til at
kritisk gennemgå og vurdere kvaliteten af de kvantitative studier, der
inkluderes i litteraturgennemgangen i en klinisk retningslinje
Uddybning:
I centrets manual for udarbejdelse af
KR står der..
•
Det anbefales at anvende checklisterne udarbejdet af Sekretariatet for
Referenceprogrammer, disse kan findes på (http://www.kliniskeretningslinjer.dk/check.php).
•
Enhver vurderingsproces involverer uundgåeligt et element af subjektiv bedømmelse.
•
Det kan være et tidskrævende proces at skulle læse og vurdere de undersøgelser, der skal
danne baggrund for den kliniske retningslinje. Arbejdet kan med fordel fordeles mellem
arbejdsgruppens medlemmer.
•
For at styrke troværdigheden af vurderingen af de enkelte undersøgelser skal mindst 2 af
gruppens medlemmer uafhængigt af hinanden gennemlæse og vurdere de respektive
undersøgelser. Derefter sammenligner man de enkelte vurderinger. Eventuelle forskelle i
vurderinger bør diskuteres af hele gruppen
•
I metodeafsnittet skal det angives, hvordan man er nået frem til den endelige vurdering.
Kilde: Center for Kliniske Retningslinjer
Graduering af evidensniveau
(Sekretariatet for Referenceprogrammer, 2004)
Publikationstype
Metaanalyse, systematisk oversigt,
Randomiseret kontrolleret studie
Niveau
Styrke
Ia
A
Ib
Kontrolleret, ikke-randomiseret
studie
Kohorteundersøgelse
Diagnostisk test (direkte
diagnostisk metode)
Case-kontrol undersøgelse
Diagnostisk test (indirekte
nosografisk metode)
Beslutningsanalyse
Deskriptiv undersøgelse
Mindre serier, oversigtsartikel
Ekspertvurdering, ledende artikel
IIa
B
IIb
C
III
IV
D
Mindst biased
Randomiserede kontrollerede forsøg
Kohorte studier
eksperimentiel
analytiske
Case- kontrol studier
observationel
Tværsnits studier
Mest biased
beskrivende
Studietyper
Kliniske studier
Eksperimentelle
(interventionsstudier)
kontrollerede
Ikke-eksperimentelle
- deskriptive f.eks.,
Tværsnitsstudier eller analytiske studier
som case-control og kohortestudier.
Ikke kontrollerede
Randomiserede
Ikke-randomiserede
Eksempel på litteraturgennemgang og
anbefaling
Litteraturgennemgang
Et Cochrane review konkluderer på baggrund af meta-analyse af resultaterne fra 5
randomiserede kontrollerede studier, at præoperativ rygestoprådgivning kan
reducere forekomsten af postoperative komplikationer.
• Endvidere konkluderes, at rygestoprådgivning initieret mindst 4 uger før
operation, og med en total perioperativ varighed af 8 uger (herefter benævnt
højintensive interventioner), synes nødvendig for at forebygge postoperative
komplikationer (20 Ia). To randomiserede kontrollerede studier, som undersøgte
effekten af rygestopintervention af denne varighed, fandt en reduktion i
forekomsten af postoperative komplikationer på op til 50% hos patienter, som
fik foretaget elektivt kirurgisk indgreb (20 Ia).
Anbefaling:
• Rygere, der skal gennemgå et elektivt kirurgisk indgreb, bør tilbydes
rygestopintervention med ugentlig rådgivning og nikotinerstatning i en periode
på minimum 4 uger præoperativt og med en total perioperativ varighed af 8 uger
(Ia, A, 20)
Kilde: Center for Kliniske
Retningslinjer
Evidensvurdering på grundlag af
studiedesign
• En foreløbig evidensvurdering kan man i nogen grad foretage alene på
grundlag af studiedesign.
• Inden for den primære litteratur betragtes randomiserede kontrollerede
undersøgelser som rangerende højst med bedste evidens, mens kohorte
studier og case control studier rangerer på et lavere evidensniveau.
• Men der kan være stor forskel på for eksempel forskellige randomiserede
kontrollerede undersøgelser inden for samme behandlingsområde. Der kan
f.eks. være forskel på undersøgelsens omfang (stor gruppe, lille gruppe), og
dårlige randomiserede kontrollerede undersøgelser kan
undertiden udkonkurreres af andre undersøgelsesdesign.
Hvilke elementer er indeholdt i
tjeklisterne?
Det interessante er om vi kan tro på det resultat, som artiklen fremkommer
med!
Den interne validitet: Du skal fremkomme med din vurdering af den interne
validitet. Er undersøgelsen udført grundigt og skyldes undersøgelsens udfald
den behandling der undersøges.
Hvert spørgsmål afdækker et område af metodologien som har væsentlig
betydning for undersøgelsens konklusioner.
Er der valgt korrekt design til at besvare undersøgelsens formål og er det valgte
design udført korrekt??
Tjeklisternes opbygning
1. Artiklens troværdighed (Den interne validitet)
–
–
Vurdering af metode
Statistik
2. Overordnet bedømmelse af studiet
–
Er der mange brud på den interne validitet?
3. Beskrivelse af studiet
–
–
(outcome, effekt, population)
sammenfatning af nøgleområder i studiet som efterfølgende skal
anføres i evidenstabellen
4. Generelle kommentarer
Checkliste 2:
Randomiserede kontrollerede undersøgelser
Forfatter, titel:
Tidsskrift, år:
Checkliste udfyldt af:
1. INTERN GYLDIGHED (troværdighed)
Evalueringskriterier
1.1 Er der en velafgrænset og relevant klinisk
problemstilling?
1.2 Blev forsøgspersonerne randomiseret?
1.3 Var behandlings- og kontrolgruppen ens ved
undersøgelsens start?
1.4 Var randomiseringen (allokeringen) skjult?
1.5 Blev forsøgspersonerne, behandler og forsker
blindet?
1.6 Er alle relevante slutresultater (outcome) målt
standardiseret, gyldigt og pålideligt?
1.7 Bortset fra den undersøgte behandling, blev
grupperne så behandlet ens?
1.8 Hvor stor en del af de personer, der blev rekrutteret til
undersøgelsen, blev endeligt medtaget i analyserne?
(dropout)
1.9 Blev alle de undersøgte personer analyseret i henhold
til randomiseringen?(intention to treat analyse)
1.10 Er resultaterne homogene mellem de forskellige
undersøgelsessteder (multicenterundersøgelser)?
I hvor høj grad er kriteriet opfyldt?
Bias (systematiske fejl)
• Selektionsbias: en systematisk fejl opstået i et studie
pga. selektion af studiedeltagerne. Fejlen opstår når
associationen mellem eksponering og outcome er
forskellig for de som deltager og de som ikke
deltager
• Informationsbias: en systematisk fejl opstået fordi
den indsamlede information om studiedeltagerne er
forkert.
• Confoundere: effekten af en eksponering er
forstyrret på grund af eksponeringens association
med en anden faktor – confounderen. Denne
forstyrrelse påvirker outcome
2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN
2.1 I hvor høj grad forsøgte undersøgelsen at minimere
bias?
Anfør ++, + eller .
2.2 Hvis bedømt som + eller , i hvilken grad kan bias
påvirke undersøgelsesresultatet?
2.3 Med baggrund i kliniske overvejelser, evaluering af
metoden og undersøgelsens statistiske styrke, mener
du så, at sluteffekten skyldes undersøgelsens ”intervention”?
2.4 Er resultatet af undersøgelsen direkte anvendeligt på
referenceprogrammets patientmålgruppe?
3. BESKRIVELSE AF UNDERSØGELSEN
3.1 Hvilke behandlinger evalueres i undersøgelsen?
3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome)
3.3 Hvor mange patienter deltog i undersøgelsen?
(totalt og i behandlings- hhv. kontrolgruppen).
3.4 Hvorledes er effekten målt?
Og i hvilken retning gik den målte effekt?
3.5 Er der statistiske usikkerhedsberegninger?
(p-værdier eller sikkerhedsintervaller)
3.6 Hvad karakteriserer deltagerne (populationen)?
(fx køn, alder, sygdomsprævalens).
3.7 Hvorfra er forsøgspersonerne rekrutteret?
(fx by, land, hospital, ambulatorier, almen praksis, amt).
3.8 Hvor mange grupper/centre er med i undersøgelsen?
3.9 Er der rejst nogle specifikke spørgsmål ved denne undersøgelse?
Anfør generelle kommentarer vedr. undersøgelsens resultater og
betydningen af disse).
Kritisk vurdering af artikler
For hvert spørgsmål i tjeklisten skal det vurderes i hvor høj grad,
evalueringskriteriet er opfyldt ud fra nedenstående graduering:
1.
2.
3.
4.
5.
6.
I høj grad opfyldt
Tilstrækkeligt opfyldt
Dårligt opfyldt
Ikke opfyldt
Ikke oplyst
Ikke anvendeligt på den aktuelle undersøgelse
Søg hjælp i jeres metodelitteratur for foregående moduler!
Søg vejledning!
Redskaber til kritisk vurdering – kilder:
•
•
•
•
Center for Kliniske Retningslinjer, ”Checklister til brug for bedømmelse ved
bedømmelse af artikler” http://www.kliniskeretningslinjer.dk/article.php?id=2
her findes tjeklister indeholdende specifikke spørgsmål til kvantitative
undersøgelser. Desuden er der noter til hver tjekliste, som indeholder rigtig god
uddybning af hvad der skal forstås ved hvert spørgsmål i tjeklisterne.
Willman, A., mfl. 2007 ”Evidensbaseret sygepleje – en bro mellem forskning og
den kliniske virkelighed” Gads Forlag, s.182-185. Her findes et skema til vurdering
af henholdsvis systematiske oversigter og kvantitative undersøgelser – disse skal
suppleres med specifikke tjeklister jf ovenstående
Andersson, I., 2008 ”Epidemiologi for sundhedspersonale – en introduktion” Gads
Forlag, s.150-51. Denne bog har I anvendt på modul 5. Den indeholder en kort
oversigt over generelle spørgsmål til kvantitative undersøgelser
Jørgensen, T. mfl. 2005 ”Klinisk forskningsmetode”, Munksgaard Danmark, s 1046. Denne bog har I anvendt på modul 9. Den indeholder oversigt over generelle og
enkelte specifikke spørgsmål til kvantitative undersøgelser
Redskaber til kritisk vurdering –
kilder (fortsat):
• Center for Kliniske Retningslinjer, ”CASP instrumentet”
http://www.kliniskeretningslinjer.dk/article.php?id=50 Internationalt
anerkendt redskab til vurdering af kvalitative undersøgelser
• Melnyk B.M. & Fineout-Overholt E. 2011, Evidence-based practice in
Nursing & Healthcare – A guide to best practice, Lippincott Williams &
Wilkins, 2 udgave s. 494-518. Rigtig gode engelsksprogede tjeklister til
både kvalitative og kvantitative undersøgelser af forskellige typer.
• Andersen, I.B., Matzen, P. 2010 ”Evidensbaseret medicin” Gads Forlag, emateriale på:
http://www.gadsforlag.dk/Evidensbaseret%20medicin/1590d7fd-b1cd4a49-9c69-b5eb92bd1e6b. Gode tjeklister der er lettilgængelige
• Malterud, K. 2004, ”kvalitative metoder i medicinsk forskning – en
innføring” Universitetsforlaget, 2 udgave, s. 213-214. denne bog har I
anvendt på modul 9. Tjekliste til kvalitative undersøgelser
Redskab til vurdering (fortsat)
•
CASP-tjeklisterne (Critical Appraisal Skills Programme)
http://www.ouh.dk/wm194967 Her findes internationalt anerkendte tjeklister til
både kvantitative og kvalitative undersøgelser. Tjeklisterne er oversat til dansk
Fra evidens til anbefaling
Fokuseret spørgsmål
Systematisk litteratursøgning
Tjeklister
Evidenstabel til hvert fokuseret spørgsmål
En anbefaling for hvert fokuseret spørgsmål
Resumering i evidenstabel:
• Her samles og resumeres den gennemgåede litteratur som er
udvalgt til at indgå i anbefalingerne.
• Gennemskueligheden øges.
• Ved hjælp af evidenstabellen vurderes det i arbejdsgruppen,
om det fokuserede spørgsmål er besvaret med tilstrækkelig
styrke for at danne grundlag for en anbefaling.
• Skal vedlægges som bilag.
Eksempel:
Evidenstabel
• Når kvaliteten af evidensen er bedømt,
udvælges data fra undersøgelser med mindst
bias. Herefter opstilles de individuelle
undersøgelser i en evidenstabel, og den
gennemgående tendens af evidensen
sammenfattes i litteraturgennemgangen og
konkretiseres i anbefalinger
Baggrund for anbefalinger
• En enkelt velgennemført metaanalyse eller en meget
stor randomiseret, kontrolleret klinisk undersøgelse
med et klart resultat kan alene underbygge en
anbefaling.
• Mindre velgennemførte undersøgelser, systematiske
oversigtsartikler, RCT med en højere grad af
usikkerhed eller observationsundersøgelser kræver
en mere ensartet evidens og en højere grad af
konsistens for at underbygge en anbefaling.
Evidensniveau og –styrke
Publikationstype
Metaanalyse, systematisk oversigt
Randomiseret kontrolleret studie
evidensniveau
Ia
evidensstyrke
A
A
Ib
Kontrolleret, ikke-randomiseret
studie
Kohorte undersøgelse
Diagnostiske test (direkte
diagnostisk metode)
IIa
B
IIb
IIb
B
B
Case-kontrol undersøgelse
Diagnostisk test (indirekte
nosografisk metode)
Beslutningsanalyse
Deskriptiv undersøgelse
III
III
C
C
III
III
C
C
Mindre serie, oversigtartikler
Ekspertvurderinger, ledende
artikler
IV
IV
D
D
kilde: Center for Kliniske Retningslinjer
Fortsat…
• Evidenstabellen til et givet fokuseret
spørgsmål skal indeholde de tre udvalgte
validerede studier fra jeres systematiske
litteratursøgning.
• Evidenstabellen udgør en vigtig del af den
kliniske retningslinje og sikrer, at de data, der
danner basis for den kliniske retningslinjes
anbefalinger, er gennemskuelige.
Hvad står der så i skabelonen at I
derefter skal?
• Hovedkonklusioner fra de udvalgte artikler
anbefalingerne baseres på beskrives. Der skal
angives evidensniveau i forhold til de citerede
artikler (se tabel 1)
• Ud fra den vurderede litteratur opstilles
punktformet, logisk opbyggede anbefalinger for
klinisk praksis.
• Anbefalingerne skal være specifikke og entydige og
forsynet med evidensstyrke (se tabel 1). De enkelte
anbefalinger skal tillige forsynes med referencer
Litteraturgennemgangen
Sagt anderledes….
• Formålet med litteraturgennemgangen er kort at angive
hovedkonklusioner fra den inkluderede litteratur om,
hvad man ved og lige så vigtigt, hvad man ikke ved inden
for det pågældende område.
• Den tilgrundliggende dokumentation for anbefalingerne
skal være omtalt i litteraturgennemgangen.
• Evidensen er ikke altid klar, og der kan være usikkerhed
mht. grundlaget for anbefalingen. I sådanne tilfælde skal
usikkerheden beskrives.
Eksempel på lavt evidensniveau:
Metode til gennemskylning af centrale venekatetre og
permanente centrale intravenøse porte:
• ”…..Indtil flere studier foreligger, fravælges det i denne
retningslinje at lave en konkret anbefaling på området. Det
anbefales derfor indtil videre, at den enkelte afdeling har en
lokal instruks for, hvorledes gennemskylning af centrale
venekatetre og permanente centrale intravenøse porte bør
foregå. Der bør dog udvises forsigtighed ved gennemskylning
af centrale venekatetre af hensyn til risiko for ruptur…(59, 1a)
(60, IV) (39, IV)”
Litteraturgennemgang
• Litteraturgennemgangen skal opbygges logisk og
sammenhængende opdelt i afsnit efter f.eks.:
• De fokuserede spørgsmål
• De forskellige interventioner
• De forskellige instrumenter
Evidensniveau
Igen…..
• Det er i litteraturgennemgangen, at evidensniveauet af
litteraturen skal fremgå.
Eksempel:
I samme analyse konkluderes det, at low airloss madrasser samt
vekseltryk madrasser har en forebyggende effekt på udvikling af
trykskader. Det kan dog ikke påvises, at disse har en bedre
forebyggende effekt end viscoelastiske madrasser (50) (Ia).
Flere eksempler:
Systematiske oversigter (1;27) (Ia) og randomiserede kontrollerede studier (21;34;35)
(Ib) viser, at håndsprit er signifikant bedre til reduktion af mikroorganismer på
hænder sammenlignet med traditionel håndvask, givet hænder ikke er synligt
forurenede.
Et kohortestudie identificerer, at lange negle øger risikoen for kontaminering af
hospitalsansattes hænder (65) (IIb).
Derudover er der flere mindre litteraturstudier om vigtigheden af at udføre
mundpleje, herunder systematisk gennemgang af forskellige mundplejemidler
samt hvordan mundplejen bør udføres (2,4,13 (III), 14 (IV), 15 (Ib), 16 (III), 17 (Ib)).
Anbefalinger
• Ud fra den vurderede forskningslitteratur opstilles
punktformet, logisk opbyggede anbefalinger. Der bør
være en nøje sammenhæng mellem anbefalingerne
og den litteratur, der ligger til grund for disse.
• Anbefalingerne skal være specifikke og entydige.
Ligeledes skal anbefalingerne være
handlingsanvisende.
• Det skal være let at finde de mest centrale
anbefalinger. Sådanne anbefalinger besvarer de
vigtigste problemstillinger.
Anbefalinger
• Anbefalinger i en klinisk retningslinje gradueres A-D, for at
skelne mellem de anbefalinger, der bygger på stærk evidens,
og de anbefalinger, der bygger på svag evidens.
• Det skal understreges, at gradueringen ikke relaterer sig til
vigtigheden af anbefalingen, men til styrken af den
tilgrundliggende evidens, specielt styrken af
undersøgelsesdesignet (6).
• Den graduering, en anbefaling er tillagt, indikerer
sandsynligheden for, at det formodede resultat vil blive
opnået, såfremt anbefalingen følges. I selve formuleringen af
anbefalingen anvendes ordene bør eller skal alene ved
anbefalinger med evidensstyrke A. Ved lavere evidens bør
begge ord så vidt muligt undgås (6).
Anbefalinger
En anbefaling bør give en konkret og præcis beskrivelse af den rette
behandling/pleje i hver enkelt situation og for hver enkelt patientgruppe,
i overensstemmelse med den samlede mængde evidens.
•
•
Eksempel på stærk anbefaling: Den systematiske intervention bør indeholde
anvisninger om regelmæssig tandbørstning med flour (mundpleje)
Eksempel på svag anbefaling: Dem systematiske intervention kan indeholde
anvisning om anvendelse af elektrisk tandbørstning (B) (mundspleje)
•
Eksempel på en specifik anbefaling: antibiotika skal udskrives til børn på to år og
opefter med akut otitis media, hvis symptomerne varer mere end tre dage, eller
hvis symptomerne forværres efter konsultationen på trods af relevant behandling
med smertestillende medicin; i sådanne tilfælde bør der behandles med
amoxicillin i syv dage (suppleret med en doseringsoversigt).
•
Eksempel på en vag anbefaling: antibiotika er indiceret for tilfælde med et
unormalt eller kompliceret forløb.
Dvs. udarbejdelse af anbefalinger…
• Baseres på evidenstabeller over hvert
fokuserede spørgsmål
• Vægtning ud fra foreliggende evidens
(evidensniveau og –styrke)
• Sammenfatning på basis af konsensus i
gruppen
Gør jer disse overvejelser i
udarbejdelsen af anbefalingerne…
• Er anbefalingerne anvendelige i min kliniske
hverdag?
• Hvad behøver jeg yderligere for at kunne gøre brug
af denne anbefaling?
• Hvad er alternativerne?
• Er mine patienter så forskellige fra de som indgik i
undersøgelserne bag anbefalingerne, at jeg slet ikke
kan bruge anbefalingerne?
• Vil fordelene overstige ulemperne?
• Hvad tænker patienterne?
Referencer:
• Krøll, V. (red), 2011, ” Kliniske Retningslinjer –
hvordan og hvorfor”
• www.kliniskeretningslinjer.dk Diverse faglige
artikler, undervisningsmateriale, generelle
oplysninger fra hjemmesiden fx tjeklister til
vurdering af RCT undersøgelser mv. (se
referencelisten).
• Melnyk, B.M. & Fineout-Overholt, E. (red), 2011,
”Evidence-Based Practice in Nursing &
Healthcare” 2 udg., Lippincott