Transcript Peter Hasle - Evaluering af arbejdsmiljøindsatser

Evaluering af arbejdsmiljøindsatser
– en teoretisk ramme
SAM d. 16. april 2013
Peter Hasle
Professor
Aalborg Universitet København
Center for forskning i
arbejdsmiljøindsatser og virkemidler (CAVI)
Problemstilling
• Hvilke sammenhænge er der mellem de samfundsmæssige indsatser og arbejdsmiljøarbejdet i
virksomhederne?
• Samarbejde mellem AAU, DTU, RUC, Teamarbejdsliv
og AU (DPU)
• Konkrete projekter om AMO, certificering og små
virksomheder
• Tværgående teoriprojekt om virkemidler
– Herunder arbejde for Arbejdsmiljørådet om evaluering
af arbejdsmiljøindsatser
Peter Hasle
På vej ind i evalueringssamfundet
• New public management:
– Markedsgørelse samt kontrakt- og målstyring
• Evaluerer om mål opfyldes
• Evidens for om noget virker
• Alle aktiviteter og tiltag skal gøres målbare
• Fra politiske valg til teknokratiske valg
Peter Hasle
Hvad er evaluering
Definition:
• En systematisk bedømmelse af udfald, præstationer
og organisering af samfundsmæssige aktiviteter rettet
mod fremtidige handlingssituationer
Implikationer:
• Et anvendelsessigte
• En opdragsgiver med et defineret formål
• Konkret empirisk
• Den korte bane
Evaluering og forskning
Delvist sammenfald
• Evaluering anvender forskningsbaserede metoder
• Forskning rettes sig også mod programmer som
evalueres
• Evaluering i sig selv et forskningsobjekt
Forskelle
• Kort eller langt sigt
• Beslutningsbehov eller erkendelsesinteresse
• Teori eller empiri
Peter Hasle
Evalueringsparadigmer
• Klassisk effektevaluering
• Responsiv evaluering
• Monitorering og evaluering
• Evidensbaseret evaluering
– Effektevaluering
– Realistisk evaluering
• Pragmatisk evaluering
Peter Hasle
Klassisk effektevaluering
• Det historiske udgangspunkt
– Troen på det moderne fremskridtssamfund
• Positivismen som dominerende videnskabsteori
– Sandhed afgøres gennem testning af målbare
hypoteser
• Samfundsmæssige problemer løses af store
programmer som testes empirisk
• Problem: Forudsætninger (kontekst, implementering
og politisk fokus) ændrer sig, inden det kan afgøres
om et program testes positivt eller negativt
Peter Hasle
Responsiv evaluering
(også proces og formativ evaluering)
• Formål: at skabe mening for interessenter og øge
deres udbytte af et program
• Bygger på læringsteori og socialkonstruktivisme
• Observation af processer dominerende metode
– Kvalitativt men også kvantitativt
• Varierende grad af evaluator involvering
– Fra distanceret observatør over aktionsforskning til
selvevaluering
• Problem: muligt præg af tilfældighed og præferencer
Peter Hasle
Monitorering og evaluering
• New Public Management (NPM) lægger vægt på
markedsgørelse og accountability
• Monitorering er en løbende evaluering af om de
forventede resultater nås
• Billede af udviklingstendenser - modsat den
almindelige evaluerings engangsbillede
• Bygger typisk på key performance indicators (KPI) for
proces- eller mellemvariable
• Problem: svært at forklare udviklingen i KPIer
Peter Hasle
Evidensbaseret evaluering
• Med NPM nye krav om sikkerhed for at noget virker
• Evidens er viden som kan sandsynliggøre om et
udsagn er sandt eller falsk
• Stor strid om hvordan sandhed skal forstås
• Kontekstafhængighed eller -uafhængighed en
væsentlig skillelinje
– Fx afgørende for i hvilken udstrækning evidens kan
og skal præge dag til dag-handlinger
Peter Hasle
Effektevaluering
(også summativ evaluering)
• Bygger på ”randomized control trials” (RCT) som
gylden standard
• Inspireret af den biomedicinske forskning
• Ideen er at kontekst kan neutraliseres gennem
randomisering
• Alternativt og med lavere kvalitet er kontrolgrupper og
før- og eftermålinger
• I princippet altid kvantitativt
• Problem: bl.a. randomisering vanskelig og manglende
overførbarhed til andre kontekster
Peter Hasle
Realistisk evaluering
(også virkningsevaluering)
• Bygger videnskabsteoretisk på kritisk realisme:
– Der findes en objektiv virkelighed, men den kan ikke
direkte erkendes
• Spørgsmålet flyttes
– fra: om det virker
– til: hvordan det virker
• Fokus på kontekst og mekanismer
• Problem: kan kontekst og mekanismer
operationaliseres og generaliseres
Peter Hasle
Pragmatisk evaluering
• Vi vil gerne vide lidt om det hele:
– Har det effekt? (effektevaluering)
– Hvordan virker det? (realistisk)
– Hvordan kan vi forbedre indsatsen? (responsiv)
– Hvad kan vi få indenfor den fastlagte ramme?
– Vi vil gerne have legitimeret vores aktiviteter (hvad
vil vi helst ikke have at vide?)
• Den mest almindelige evalueringsform
• Problem: Tendens til overfladiske og uklare svar på de
mange spørgsmål
Peter Hasle
Realistisk evaluering
Udgangspunkt:
• Evaluering retter sig mod sociale aktiviteter/
programmer
• Her findes ingen sikre kausale sammenhæng
(naturlove)
• Sammenhæng mellem indsats og effekt er altid
afhængig af kontekst
• Det interessante er at finde frem til ”halv-regulariteter”
(som regel vil noget bestemt ske hvis der tages højde
for kontekst)
– Hvad virker for hvem under hvilke omstændigheder
Peter Hasle
En model for realistisk evaluering
Antagelsen om
hvordan
indsatsen virker
Eksternt: Marked, stakeholders.
Internt: Ledelse & organisation
Kontekst
Programteori
Resultat
Ændringer i
arbejdsmiljøet
Mekanisme
Årsagssammenhænge
som fremkalder
resultater
Peter Hasle
Pawson, 1997 & 2006
Vigtige karakteristika ved virkemidler
• Teoribaserede
• Virkemidler omsættes aktivt af aktørerne
• Lange årsagskæder hvor alle led har betydning for
resultatet
• Mekanismerne er ikke lineære og har mange feed back
loops
• Mekanismerne er forankret i flere delvist overlappende
sociale systemer
• Virkemidlerne er åbne systemer som selv forandrer de
betingelser som de arbejder under
Konklusion:
• Virkemidler komplekse og effekter svære at forudsige
Pawson, 2006
Peter Hasle
Kompeksiteten i virkemiddelmekanismer
Pawson, 2006
Peter Hasle
Realistisk evalueringscyklus
M: mekanisme
K: kontekst
R: resultat
Hvad virker for
hvem under hvilke
omstændigheder
Teori
Empirisk
analyse
Hypotese
Observation
Flerstrenget dataindsamling om
M, K og R
Peter Hasle
Programteori:
Hvad virker for
hvem under hvilke
omstændigheder
Den grundlæggende forståelse af
arbejdsmiljøindsatsers effekt
Indsats
Mekanismer
Kontekst
Resultat
Uddannelse
Viden ændrer
handlinger
Afhænger af
mulighed
Resultat
Teknisk mekanisme:
• Forandringen i arbejdsmiljøet (sikkerhedsskærmen, ventilationssystemet, hjælpemidlet til løft)
Social mekanisme:
• Det som får mennesker til at handle anderledes (investere i
løsninger, anvende løsninger)
Det psykosociale arbejdsmiljø:
• Tekniske og sociale mekanismer falder typisk sammen
Peter Hasle
Virkemidler
- regulering, incitamenter og viden
Peter Hasle
En udfoldet model for sammenhængen
mellem virkemidler på samfundsniveau
og effekt
Virkemidler:
 Regulering
 Incitamenter
 Viden
Indsats:
 Kombination
af virkemidler
Mekanismer:
 Tvang
 Normer
 Imitation
Kontekst:
 Intern
 Ekstern
Effekt:
 Ændringer i
arbejdsmiljøet
Bygger på
• Virkemidler (policy instruments) (Vedung 1998)
• Realistisk evaluering (Pawson & Tilley, 1997)
• Nyinstitutionel teori (DiMaggio & Powel, 1991)
– Bygger på aktørers behov for at fremstå legitime overfor
omgivelser
Peter Hasle
En samlet virkemiddelmodel
Afsendersiden
Modtagersiden
Programteori
Kontekst
Indsats
Virkemiddel
Virkemiddel
Peter Hasle
Effekt
Politik
Målgruppe
Virkemiddel
Forbedring af arbejdsmiljøet ved opmuring
Peter Hasle
Nedsættelse af belastninger ved opmuring
Kombination af virkemidler
Mekanismer
Regulering:
• Påbud fra AT om reduktion af
belastninger
• Påbudspause mens løsninger
bliver udviklet
• Påbud på grundlag af ny vejledning
fra BAR
Incitament:
• Tilskud til udvikling og afprøvning
af hjælpemidler
Viden:
• En vejledning med detaljeret
beskrivelse af hjælpemiddel og
arbejdsgange
• Formidlet gennem flere kanaler af
alle involverede parter
Tvang:
• Indledende påbud
• Påbud efter løsning er udviklet.
Normer:
• Fælles budskab fra arbejdsgivere
og fagforeninger signalerer at den
ny metode er den etisk rigtige at
anvende
Imitation:
• Arbejdsgivere og murere observerer flere og flere tilfælde hvor
metoden anvendes i praksis og
overbevises dermed om at det er
sådan man gør i branchen
Peter Hasle
Evaluering af samfundsmæssige
arbejdsmiljøindsatser
Formål med evaluering
• Læring, men også legitimering
Før evaluering
• Udvikling af programteori
• Planlægning af evaluering
Scenarier
• Evaluering af den begrænsede indsats
– selvevaluering
• Evaluering af den omfattende indsats
– Professionel og fokuseret evaluering
• Tværgående evaluering
– Professionel mere forskningspræget evaluering
• Evaluering af et program
– Monitorering, registrering af aktiviteter og analyse af enkeltstående evalueringer
Peter Hasle
Evaluering af virksomhedens egne
arbejdsmiljøindsatser
• Realistisk evaluering også relevant i denne
sammenhæng
– Hvordan omsættes arbejdsmiljøpolitikker til konkrete
ændringer som forbedrer arbejdsmiljøet?
– Hvilke virkemidler har vi til fremkalde de ønskede
handlinger?
– Hvilke mekanismer får dem til at virke?
– Hvordan spiller de sammen med virksomhedens
kontekst?
• Vi mangler et mere specifikt begrebsapparat for
virkemidler og mekanismer
Peter Hasle
Tak for ordet
• Læs mere om CAVIs forskning på: www.cavinet.dk
• Deltag i diskussioner om virkemidler i CAVIs netværk:
http://dea.nu/cavi
• Peter Hasle: [email protected]
Peter Hasle