Transcript Slide 1

HVORDAN ANALYSERE OG
PRESENTERE DATA?
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 2
Hvorfor inngår målinger i kampanjen?
Hvorfor har vi behov for å anvende statistikk?
Hva er begrunnelsen for kampanjens valg av
metoden statistisk prosesskontroll?
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 3
Hvorfor måle?
Forbedringsmodellen
 Pasientsikkerhetskampanjen baserer sitt arbeid på
Forbedringsmodellen («Model for Improvement»)
 Forbedringsmodellen forutsetter at man starter arbeidet
med forbedring med å besvare tre grunnleggende
spørsmål.
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 5
Hva ønsker vi å oppnå?
Hvordan vet vi at en endring er en forbedring?
Hvilke endringer TILTAK
kan iverksettes
for å skape forbedring?
(ENDRINGER)
Act
Plan
Study
Do
Hva ønsker vi å oppnå?
Hvordan vet vi at en endring er en forbedring?
Hvilke endringer TILTAK
kan iverksettes
for å skape forbedring?
(ENDRINGER)
Act
Plan
Study
Do
MÅL
MÅLINGER
TILTAK (ENDRINGER)
Act
Plan
Study
Do
Hvorfor behov for statistikk?
Statistikk gir grunnlag for objektivitet
 Enkelte målinger kan rett og slett være vanskelig å tolke
uten hjelp av statistikkverktøy, og statistikk kan hjelpe oss
til å forstå prosessens variasjon.
 Ved hjelp av statistikkverktøy kan man presentere
måledata og resultater på en oversiktlig måte.
 Ved å benytte statistikk kan vi trekke statistisk sikre
konklusjoner basert på våre måledata.
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 12
Statistisk sikker konklusjon
 Ved å benytte statistikk kan vi trekke statistisk sikre
konklusjoner basert på våre måledata.
 At en endring er signifikant betyr at vi med stor sikkerhet
kan si at det skyldes en reell forskjell og ikke statistiske
tilfeldigheter.
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 13
Hvorfor benytte metoden
«statistisk prosesskontroll»?
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 15
The Three Faces of Performance Measurement:
Improvement, Accountability, and Research
Solberg et al., Joint Commission Journal on Quality Improvement. Mar 1997;23(3):135-147.
Forskning
Forbedring
Kontroll
Formål
Skape ny viten
Implementere eksisterende
viten
Dokumentere, bedømme og
sammenlikne
Hypotese
Statisk
Dynamisk
Ingen hypotese
Variasjon
Kontrollér
Studér
Justér
Stikkprøve
”Stor”
”Liten”
Ingen stikkprøve
Målehyppighet
En eller få målinger
Dager, uker, måneder
Kvartaler, år
Statistiske metoder
Komparative metoder
(t-test, chi2, regresjon,…)
Prosessanalyse
(statistisk prosesskontroll)
Deskriptive metoder
(gjennomsnitt, spredning,…)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 16
Statistisk prosesskontroll vs. klassisk statistikk
 I forskning benyttes vanligvis avansert statistikk.
 krever høy statistikkompetanse
 krever store datamengder
 I forbedringsarbeid kan man nøye seg med en enklere form
for statistikk.
 Statistisk prosesskontroll (SPC) benyttes for å analysere
kampanjens målinger. Dette kalles tidsserieanalyse.
 lav brukerterskel
 målingene presenteres visuelt
 man kan trekke statistisk sikre konklusjoner selv ved små datamengder
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 17
KOMPLISERT!
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 18
OUS Klinikk psykisk helse
Forebygging av selvmord: grafen viser etterlevelse av tiltakspakken per pasient (max poengsum=100):
Etterlevelse av tiltakspakken:
Baseline-måling: 60 %
Første og andre måling: 70 %
Tredje måling: 85 %
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 19
Mer om
statistisk prosesskontroll (SPC) og
tidsserieanalyse
SPC benytter i hovedsak to typer diagram
 Run-diagram (benyttes i Extranet)
 kun én type, mindre følsomt enn kontrolldiagram
 median benyttes som midtlinje
 benytter ikke kontrollgrenser (kan ikke si noe sikkert om stabilitet)
 tidsserien må være på min. 15 pkt (ekskl. pkt på median)
 Kontrolldiagram
 en rekke ulike typer for ulike case, mer følsom diagramtype
 aritmetisk gjennomsnitt benyttes som midtlinje
 benytter øvre og nedre kontrollgrense (+/- 3 standardavvik)
 tidsserien må være på mellom 20 og 30 pkt
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 21
Analyse av måledata registrert i Extranet
( bruk av sjekklista for trygg kirurgi ved SSHF Arendal )
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 22
Analyse av måledata vha run-diagram (i Extranet)
( samme data som på forrige slide: bruk av sjekklista for trygg kirurgi ved SSHF Arendal )
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 23
Analyse av måledata vha run-diagram (i Extranet)
( samme data som på forrige slide: bruk av sjekklista for trygg kirurgi ved SSHF Arendal )
|
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 24
Analyse av måledata vha kontrolldiagram (i EpiData)
( bruk av sjekklista ved SSHF Arendal )
4 målinger utenfor kontrollgrensene
Spesiell variasjon, dvs ustabil prosess
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 25
Hva kan statistisk prosesskontroll (SPC) bidra
med i forbedringsarbeid?
 Måledata plottet i en tidsserie gir mulighet for
 variasjonskontroll
stabile (forutsigbare) tjenester?
 nivåkontroll
i overensstemmelse med god praksis/god kvalitet?
 «forbedringskontroll»
sikre at forbedringer dokumenteres!
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 26
Tre aktuelle anvendelser av tidsserieanalyse
 Gi oversikt over en prosess sin tilstand i forkant av
planlegging av forbedringsstrategi
 Dokumentasjon av om innførte tiltak førte til forbedring
 Overvåkning og kontroll av prosesser som fungerer
tilfredsstillende
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 27
SPC kan hjelpe oss å skille mellom naturlig og
spesiell variasjon
 SPC hjelper oss å fastslå hvilke observasjoner som er
normale og hvilke som ikke er normal for vår prosess
(statistiske tilfeldigheter versus reelle forskjeller)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 28
Variasjon og stabilitet
Variasjon er et sentral begrep innen statistikk
 Alt kan sees på som prosesser
 Prosesser kan tale til oss gjennom målinger,
ofte kalt «prosessens stemme»
 Prosesser varierer
 Naturlig variasjon (common causes)
er innebygget i enhver prosess – opptrer tilfeldig
 Spesiell variasjon (special causes)
skyldes påvirkning av prosessen utenfra
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 30
Naturlig variasjon vs. spesiell variasjon
Målingen under viser
et ustabilt hjerte
Målingen over viser et
hjerte som arbeider
normalt (stabilt)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 31
Vi ønsker oss statistisk stabile prosesser!
 Dersom vi kun observerer naturlig variasjon er
prosessen statistisk stabil (forutsigbar)
 Dersom vi observerer spesiell variasjon regnes
prosessen som ustabil (uforutsigbar)
 ønsket –> i første fase av et forbedringsarbeid
 uønsket
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 32
Forbedringsstrategien avhenger av
variasjonstypen
 Ved spesiell variasjon: Finn årsaken!
 uønsket variasjon: eliminer årsaken
 ønsket variasjon: implementer årsaken (tiltakspakken)
 Ved naturlig variasjon: Er dere tilfreds med prosessen?
 ikke tilfreds: etabler ny prosess (dagens prosess må justeres)
 tilfreds: overvåk prosessen videre
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 33
Hvordan vet vi at en endring er en forbedring?
Ved å plotte de månedlige dataene i en tidsserie får vi et mer dynamisk bilde av situasjonen.
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 34
Gjennomsnittlig liggetid for tre utvalgte sykehus
(merk deg at denne formen for statistikk ikke kan fortelle deg om prosessene er stabile eller ikke)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 35
Stabil prosess? Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus B
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 36
Stabil prosess? Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus A
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 37
Stabil prosess? Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus C
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 38
Myntkast er et eksempel på tilfeldig variasjon
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 39
Myntkast benyttet som forklaringsmodell for SPC
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 40
For kampanjemålingene gjelder følgende:
kun naturlig variasjon = statistisk stabil prosess
 Dersom en prosessen kun inneholder naturlig variasjon, vil
datapunktene være fordelt tilfeldig rundt medianen (man
observerer ingen mønstre i dataene).
 Med tilfeldig menes at man aldri kan vite på forhånd på hvilken
side av medianen neste punkt vil falle og at sannsynligheten for
begge utfall er lik, dvs. 50 % (samt at datapunktene er
uavhengige, det vil si at posisjonen til ett datapunkt ikke påvirker
plasseringen av den neste).
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 41
Eksempel på en måling fra trygg kirurgi (bruk av sjekkliste)
Kun naturlig variasjon = statistisk stabil prosess
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 42
Hvordan vet vi at en endring
representere en forbedring?
Praktisk fremgangsmåte
Hva må du gjøre for å finne ut om en endring
utgjør en signifikant forbedring?
 Plott dine måledata i et linjediagram (tidsserie) i Extranet
 vær nøye med at målepunktene registreres i riktig rekkefølge,
dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut.
 Benytt «run-diagram»-modulen til å legge inn én eller flere
medianer i run-diagrammet der det måtte være aktuelt
 Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram.
 vis én eller flere tester slår til: statistisk signifikant endring!
 hvis ingen tester slår til: ingen signifikant endring har funnet sted
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 44
Hva må du gjøre for å finne ut om en endring
utgjør en signifikant forbedring?
 Plott dine måledata i et linjediagram (tidsserie) i Extranet
 vær nøye med at målepunktene registreres i riktig rekkefølge,
dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut.
 Benytt «run-diagram»-modulen til å legge inn én eller flere
medianer i run-diagrammet der det måtte være aktuelt
 Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram.
 vis én eller flere tester slår til: statistisk signifikant endring!
 hvis ingen tester slår til: ingen signifikant endring har funnet sted
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 45
Hva må du gjøre for å finne ut om en endring
utgjør en signifikant forbedring?
 Plott dine måledata i et linjediagram (tidsserie) i Extranet
 vær nøye med at målepunktene registreres i riktig rekkefølge,
dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut.
 Benytt «run-diagram»-modulen til å legge inn én eller flere
medianer i run-diagrammet der det måtte være aktuelt
 Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram.
 vis én eller flere tester slår til: statistisk signifikant endring!
 hvis ingen tester slår til: ingen signifikant endring har funnet sted
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 46
Hva menes med en median i et run-diagram?
 Medianen er en horisontal linje som deler tallmaterialet
i to like store deler der tallene er ordnet etter størrelse
 Dersom tallmaterialet er oddetall utgjør den midterste verdien
medianen.
 Dersom tallmaterialet er partall finner man medianen ved
å legge sammen de to midterste verdiene og dele på to.
 Må ha minst 12 datapunkter før median kan plottes
(15 pkt første gang, eksklusive punkter på medianen)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 47
Måledata plottet i en tidsserie i Extranet
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 48
Måledata plottet i en tidsserie i Extranet
tidsserie med 21 punkter
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 49
Samme tidsserie med medianen plottet inn
10 punkter over medianen
10 punkter under medianen
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 50
Når kan det være grunnlag for å opprette en ny
median?
 I en tidsserie bør det opprettes en ny median
 på tidspunkt der det skjer grunnleggende endringer i
prosessen (eksempelvis når et nytt nivå nås, jamfør
forrige slide)
 der det eventuelt er opphold i målingene
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 51
Samme tidsserie på et senere tidspunkt
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 52
Hva må du gjøre for å finne ut om en endring
utgjør en signifikant forbedring?
 Plott dine måledata i et linjediagram (tidsserie) i Extranet
 vær nøye med at målepunktene registreres i riktig rekkefølge,
dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut.
 Benytt «run-diagram»-modulen til å legge inn én eller flere
medianer i run-diagrammet der det måtte være aktuelt
 Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram.
 vis én eller flere tester slår til: statistisk signifikant endring!
 hvis ingen tester slår til: ingen signifikant endring har funnet
sted
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 53
Se etter målepunkter i ditt run-diagram
som kan tyde på spesiell variasjon
 Vi benytter 3 enkle SPC-tester for å sjekke om spesiell
variasjon er tilstede i prosessen vår
 antall ganger grafen krysser medianen (+1)
 nivåskifte i prosessen
 trend
i tillegg må vi være obs på eventuelle åpenbart avvikende
punkt eller ev. sykliske mønstre (typisk sesong- eller
døgnvariasjon)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 54
SPC-test 1
antall ganger grafen krysser medianen
- tell opp «antall ganger grafen krysser medianen» + 1
(men ikke ta med ev. punkter som ligger på medianen)
- øvre og nedre grenseverdi kan man finne i en
standardtabell, og de varierer med ant pkt i tidsserien
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 55
Antall krysninger + 1 = 5 +1 = 6
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 56
Tabell som angir det forventede ”antall krysninger + 1” av
medianen i et run-diagram i forhold til antall punkter i tidsserien
(kilde: F. Sweed and C. Eisenhart)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 57
Test 2
nivåskifte i prosessen
uvanlig mange pkt på samme side av medianen (8++),
eksklusive eventuelle punkter på medianen
vanlig å benytte grensen 7++ dersom tidsserien består
av 20 eller færre punkter
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 58
Antall pkt på samme
side av medianen = 8
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 59
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 60
Test 3
trend
uvanlig lang serie av etterfølgende punkter (7++) med
økende eller synkende verdier (punkter med samme
verdi som det foregående skal ikke telles med)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 61
Har du full oversikt over dette linjediagrammet?
FORBEDRING?
Ja, men her har vi behov for
å analysere måledataene
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 62
Benytt run-diagram modulen i Extranet
til å analysere tidsserien
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 63
Tidsserien fra forrige slide
analysert vha Extranets
«run-diagram» modul
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 64
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 65
Side 66
Hvorfor er medianen
lagt inn akkurat her?
Side 67
Her finner vi 8 punkter på
rad på samme side av
medianen (indikerer en
statistisk signifikant endring
i vårt run-diagram)
Side 68
Et eksempler hentet fra innsatsområdet
forebygging av selvmord
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 69
Baseline-måling
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 70
Første måling
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 71
Andre måling
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 72
Tredje måling
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 73
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 74
kontrolldiagram
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 75
Obs, noen ganger taler et linjediagram for seg selv
FORBEDRING?
Ja, det er åpenbart at dette
teamet har nådd sitt mål
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 76
3 oppgaver for å teste
din SPC-kunnskap
Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus A (tidsserie med 30 pkt)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 78
Sykehus A: Spesiell variasjon tilstede –
her har man en ustabil prosess!
 I dette eksemplet slår alle tre tester inn:
 for få krysninger av medianen: kun 3 krysninger til tross for
at tidsserien inneholder 30 pkt. (sjekkverdien blir 3+1=4: ø.g. for 30 pkt er 21 og n.g. er 11)
 nivåskifte i prosessen: for mange pkt på samme side av
(grensen overskrides ved 8++)
 trend: uvanlig lang serie av etterfølgende stigende/synkende
punkter (overskrides ved 7++)
 Liggetiden øker så denne spesielle variasjonen er uønsket,
prosessen går i negativ retning. (Hadde dette vært en del av et
vellykket forbedringsarbeid ville grafen pekt nedover.)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 79
Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus B (tidsserie med 30 pkt)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 80
Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus B (tidsserie med 30 pkt)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 81
Sykehus B: Spesiell variasjon tilstede –
her har man en ustabil prosess!
 I dette eksemplet slår én av tre tester inn
 Nivåskifte i prosessen: 9 pkt på samme side av medianen er
for mange (grensen overskrides ved 8)
 Den spesielle variasjonen er muligens ønsket, da det her har
skjedd noe som har fått liggetiden ned som jo er det ønskede
mål. Men i etterkant av dette ser vi av grafen at datapunktene
igjen ligger på oversiden av medianen, så her har man ikke i mål
med forbedringsprosessen. Kan forbedringsteamet ha mistet
fokus?
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 82
Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus B (tidsserie med 30 pkt)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 83
Naturlig eller spesiell variasjon?
Case: Liggetid ved sykehus C (tidsserie med 30 pkt)
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 84
Sykehus C: Ingen tegn til spesiell variasjon –
her har man en stabil prosess!
 Tidsserien inneholder mange krysninger av medianen. En
opptelling gir sjekkverdien 20 (19 krysninger + 1) som er
innenfor grenseverdiene angitt i standardtabell for en tidsserie
bestående av 30 pkt (øvre grenseverdi for en tidsserie på 30 pkt
er 21 og nedre grenseverdi er 11).
 I dette eksemplet slår ingen av våre tre tester inn, så statistisk
sett er prosessen stabil. Men selv om vi har en stabil prosess er
det ikke dermed sagt at man er fornøyd med nivået (ca 3
liggedager) og kanskje er variasjonen også større enn ønsket.
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 85
Statistisk prosesskontroll oppsummert
 SPC er et statistisk verktøy som på objektivt vis
kan hjelpe oss til å
 forstå fortiden
 forutsi fremtiden
 handle i nåtid
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 86
TAKK FOR DIN INNSATS
SÅ LANGT I KAMPANJEN!
LYKKE TIL VIDERE 
17.07.2015 - www.pasientsikkerhetskampanjen.no
Side 87
[email protected]
www.pasientsikkerhetskampanjen.no