Transcript Innovativ evaluering i PPR Ballerup 3. december 2010

Innovativ evaluering i undervisning
Augustseminar EPOS 16. august 2013
Malene Skov Dinesen
• Indehaver af konsulentfirmaet Ineva
– Gennemførsel af evalueringer primært i den
offentlige sektor
– Temadage/workshops
• Forfatter på bøgerne Innovativ evaluering og
Essensen af Innovativ evaluering sammen
med Camilla Kølsen de Wit
• Ekstern lektor på VIA University College i
Århus
• Jeg må meget gerne afbrydes!
Program for dagen
Tid
Indhold
9.00-9.15
Godmorgen og dagens indhold (præsentation, program, dagens
formål mv.)
9.15-10.00
Overordnet evalueringsteoretisk ramme
• Hvad er evaluering og hvorfor er det så vanskeligt?
• Typiske dilemmaer i en undervisningskontekst
(kontrol vs. læring, dokumentationsbehov vs. ansvar
for egne undervisningsforløb med videre)
• Efterspørgsel, reel efterspørgsel og forsyning som
ramme for valg af evalueringsdesign
10.00-11.30
Praksisteori som afsæt for evaluering
• Kort teoretisk oplæg
• Øvelse vedr. opbyggelse af en praksisteori
• Fælles opsamling
11.30-12.00
Fælles opsamling og et blik fremad
12.00-13.00
Tak for i dag – og frokost
Drøft to og to
• Hvad skal evaluering bidrage med, for at du
synes det er meningsfuldt?
• Hvilke gode og dårlige erfaringer har du
med evaluering?
Hvad er evaluering?
Pawson og Tilley:
”This sense of exponential growth and widening diversity is
deepened if one examines changes in the academic literature on
evaluation. Once upon a time, the evaluation researcher need
only the ’Bible’ (’Old Testament’, Campbell and Stanley, 1963;
’New Testament’, Cook and Campbell, 1979) to look up an
appropriate research design, and hey presto, be out into the
field. Nowaday, tyro investigators have to burrow their way
through ’Sage’ advice on ’summative evaluation’, ’formative
evaluation’, ’cost-free evaluation’, ’goal-free evaluation’,
’functional evaluation’, ’tailored evaluation’, ’comprehensive
evaluation’, ’theory-driven evaluation’, ’stakeholder-based
evaluation’, ’naturalistic evaluation’, ’utilization-focused
evaluation’, ’preordinary evaluation’, ’responsive evaluation’, and
finally ’meta-evaluation’ before they even get their hands on a
social program. Worse still, adopting one of these approaches
often means taking sides in the ’paradigm wars’.” (Pawson and
Tilley, 1997, s. 1-2).
Definitioner på evaluering - 1
Evert Vedung:
Evaluation = df. Careful retrospective
assessment of the merit, worth and value of
administration, output, and outcome of
government interventions, which is intended
to play a role in future, practical action
situations. (Vedung, 1997, s. 3)
Oversat til dansk:
’en systematisk retrospektiv vurdering af
gennemførsel, præstationer og udfald af
offentlig politik, som tiltænkes at spille en
rolle i praktiske handlings-situationer.’
(Dahler-Larsen, 1998)
Definitioner på evaluering 2
Mehlbye, Riepers og Togeby:
’Evaluering er en systematisk
vidensindsamling om mere komplekse
igangværende eller afsluttede indsatser,
hvis målopfyldelse og kvalitet ikke
umiddelbart kan vurderes, og hvor der er
behov for dyberegående vurderinger af
indsatsen ud fra bestemte standarder og
kriterier, som kan være defineret ud fra
indsatsens egne mål eller fra andres, fx
brugernes mål. Arbejdet tilrettelægges med
henblik på senere praktisk udnyttelse’
(Mehlbye, Rieper og Togeby, 1993, s. 11)
Definitioner på evaluering 3
Albæk:
’Evaluering er i al sin enkelthed, at standse
op midt i eller efter et af sine gøremål og
vurdere, om resultaterne står i et fornuftigt
forhold til hensigt og anstrengelser.’ (Albæk,
2003)
Typiske dilemmaer i evaluering
•
•
•
•
•
Kontrol vs. læring
Intern evaluering vs. ekstern evaluering
Intern commitment vs. ekstern commitment
Praktikere vs. myndighed
Mikro-fokus vs. makrofokus
• Et forsøg på et svar i dag:
– Innovativ evaluering
– Praksisteori
Hvorfor Innovativ evaluering?
• Innovativ evaluering er et forsøg på at give
evaluering tilbage til praktikkerne
• Modsvar på ’virker-det’ (positivistiske)
evalueringer
– Løsrevet fra den kontekst, der evalueres
– Evalueringer der forsøger at forenkle og kun
give ét svar
– Evalueringer der udelukkende tilfredsstiller et
ekstern krav om dokumentation og
legitimering
• Innovativ evaluering vil gerne både give
svar og samtidig skabe udvikling af praksis
Mål for evalueringerne
Myndigheder
Praktikere/
professionelt
’Virker det’?
Læring
Stå til regnskab/
accountablity
Udvikling og innovation
Prove
Improve
Top-down
Bottom-up
Standarder og mål
Inddragelse
Innovativ evaluering – en tilgang
• Er en evalueringstænkning og –tilgang
• Er ikke en evalueringsmetode med klart
beskrevne steps
• Har fokus på at gå fra evalueringsfærdigheder til
evalueringskompetencer
• Har som central pointe, at kvalificeret evaluering
kræver refleksion over sin evalueringspraksis,
hver gang der igangsættes en ny evaluering
• Har inddragelse af praktikere og medtagelse af
kontekst som centrale temaer
• Er optaget af at få tingene til at virke (improve)
og ikke bevise at de gør det (prove)
Traditionelle evalueringer
Evaluering
Implementering/indfly
delse
Anvendelse og indflydelse
• I Innovativ evaluering er vi optaget af at
drive innovation af praksis
– Innovation = nyttiggørelse og
anvendeliggørelse af ny viden, forskning mv.
• Det er anvendelsen, der definerer Innovativ
evaluering som Innovativ evaluering.
– I en række andre definitioner (eks. Vedung)
er det vurderingen, der definerer
evalueringen
Anvendelse/indflydelse
• Innovativ evaluering er optaget af at drive
innovation af praksis
• Evalueringens indflydelse sker undervejs i
evalueringen og ikke som et ’halehæng’
Indsats
Implementering/indflydelse
Innovativ evaluering
Effekter skabes af mennesker
• Effekter ikke skabes af strukturer (og
metoder) i sig selv, men først og fremmest
af de involverede mennesker (Pawson og
Tilley)
• Vi taler om generativ kausalitet (årsagvirkning i en særlig kontekst) frem for
kausale effekter
Definition på Innovativ evaluering
Innovativ evaluering er en refleksiv relationel
proces, hvor kontekstbestemt viden om fortiden
og nutiden anvendes til fremadrettede
handlinger, der understøtter aktørerne i at skabe
nye muligheder og forbedret praksis parallelt
med, at eksterne krav om dokumentation
opfyldes.
Innovativ evaluerings tre ’ben’
Yderligere
praksis
Yderligere
teori
INNOVATIV EVALUERING
Teoretisk fundament
• Systemisk teori og praksis:
– Paradigme og epistemologisk ståsted
– Bidrager med grundbegreber om menneskelig
erkendelse, udvikling og interaktion
• Realistisk evaluering:
– Evalueringsmetodologi
– Bidrager med forklaringer på hvad der er
relevant og muligt at vurdere i en evaluering,
herunder kontekstens betydning
• Evalueringskapacitet:
– Fundament for Innovativ evaluering
– Bidrager med forståelse for, at uden en refleksiv
og kompetent ramme for evalueringer, er der
ikke mulighed for at drive innovation på
baggrund af dem
Systemisk overblik – ultra kort
• Systemisk teori og praksis bygger på
socialkonstruktionisme og –konstruktivisme
• Trækker på en lang række teoretikere
• Udspringer af familieterapien og har siden
udviklet sig at have en betydelig plads i
organisationsteorien
• Centrale begreber:
–
–
–
–
–
–
Refleksion
Kontekst
Mening
Multivers
Relationer
Positiv udvikling
Socialkonstruktionisme (Gergen)
• Vi konstruerer vores virkelighed
sammen.
• Vi opretholder vores lokale sandheder
igennem vores sprog.
• Vores erkendelse opstår i relationerne
– ikke i individet.
”Den grundliggende ide i social konstruktion
virker ret enkelt, men den er også dyb. Alt,
hvad vi regner for virkeligt, er socialt
konstrueret. Eller sagt mere dramatisk, intet
er virkeligt, før folk er enige om, at det er
det.” (Gergen og Gergen, 2005 s. 9)
Forstyrrelser - Maturana
• Der er tre forudsætninger for positiv
udvikling:
– Den tilpasse forstyrrelse
– Anerkendelse (amor)
– Tid
• Innovativ evaluering handler om at forstyrre
praksis, så den kan forandre sig indefra
• Forandringen skal ’ramme’ praktikernes ønske
om at udvikle praksis for at gøre en reel forskel
• Konklusioner og anbefalinger i evalueringen skal
hænge sammen med kontekst – ellers afkobler
man sig
Evalueringskapacitet
• At have evalueringskapacitet vil sige at:
– Ledelse og medarbejdere arbejder refleksivt
med deres egen evalueringspraksis
– Dobbeltsyn
– Refleksivitet i forhold til opfølgende handlinger
– Arbejde på at blive bedre til at evaluere og til
at bruge evalueringerne
– Ofte evalueringssystem og forståelse for det
• Det handler om at kunne bruge tidligere
evalueringserfaringer til at udvikle den
nuværende evalueringspraksis med
• Tæt koblet med begrebet evalueringskultur,
som er meget anvendt i skoleverdenen (jf.
OECDs rapport fra 2003)
Evalueringskapacitet - arbejdsdefinition
”At udvikle evalueringskapacitet vil sige
at arbejde målrettet og vedvarende med
organisatoriske processer, hvis formål er
at udvikle evalueringer af høj kvalitet og
fokusere på brugen af evalueringerne.”
Kilde: Compton m.fl. 2002
Realistisk evaluering
• Er beskrevet af Pawson og Tilley
• En teoribaseret evalueringstilgang
• Blev til som et alternativ og en kritik af
randomiserede forsøg og tænkning om
kausale effekter
– Eks. husspektakler i USA
• Har konteksten og forståelse for aktørerne i
evalueringen som centrale fokuspunkter i
evalueringen: hvad virker for hvem under
hvilke omstændigheder
• Fra ’virker programmet’ til ’hvad er det ved
programmet, der får det til at virke og for
hvem?’
Når man skal designe en
evaluering…
• Hvad er det, vi gerne vil vide? (efterspørgsel)
• Hvordan skal den viden anvendes? (reel
efterspørgsel)
• Hvordan skaffer vi den viden? (forsyning)
• Hvordan sikrer man at evalueringen bliver
brugt? (evalueringskapacitet)
• Evalueringskulturen
er båret af
evalueringskapaciteten
Evalueringsdesign
Efterspørgsel
Indsatsens
egenskaber
Hvor langt er vi
kommet med
indsatsen?
Hvad vil vi vide?
Evalueringsspørgsmål
Interessenternes prioritering
Forsyning
Hvad ved vi på
forhånd om
sagen?
Paradigme: Hvilke
spørgsmål? (formål og
tilgang)
Valg af metode
Valg af teknik
Kilde: Elliot Stern
Kan det lade sig
gøre?
Afgrænsning
• En evaluering handler om at være tydelig på
sin afgræsning for at kunne være skarp på
sin efterspørgsel
• Evalueringen kan ikke bidrage med viden
om alt
• Jo bredere spørgsmål jo mindre konkret svar
(som oftest), eksempelvis
– Hvordan går det med undervisningen?
• Udvælg en del af praksis, som fokusområde
i den enkelte evaluering
Forsyning
• Kan det lade sig gøre?
– Kursisternes formåen i forhold til skriftlighed
og dansk
• Hvor langt er vi kommet med indsatsen?
– Igangsættelse af evaluering midtvejs i
forløbet
• Hvad ved vi i forvejen
– Hvis vi har god viden om aspekter af
undervisningen, vil det måske være mere
interessant at evaluere noget andet
• Praksisteori
• Metode og tilgang
– Vælg med afsæt i de tre koncepter
Praksisteori
’Praksisteori handler om, hvad
praktikerne tror om deres egen praksis,
og hvordan de kan bruge dette som
afsæt for efterspørgslen i en evaluering.’
Malene Skov Dinesen
Praksisteori
• Praksisteori er et udviklingsredskab, der gør det
muligt at blive klogere på egen praksis som
afsæt for at udvikle den
• Praksisteori er den viden praktikerne
efterspørger om deres praksis for at kunne
udvikle den.
Eksempel: ’Hvad vil jeg gerne vide om
undervisning, for at blive en bedre underviser?
Hvad gør jeg nu, og hvorfor tænker jeg, at det er
en god praksis’
Malene Skov Dinesen
Hvad er praksis?
• Praksis er de reelt forekommende, diffuse,
usikre handlinger, der sker i en kontekst,
inkl. fortolkninger og for-forståelse
• ’Praksislogik er sjældent helt uforståelig,
såvel som den heller ikke er helt forståelig’
(Bourdieu)
• Udsagn, der konstant genopbygges og
udfordres gennem refleksionen i praksis
(Schön)
• Begrebsafklarende for praksis
Malene Skov Dinesen
Praksisteorier i EPOS
• Praksisteorierne er afgørende for afsættet i
evalueringen, fordi de giver viden om, hvad
der er interessant at se på i evalueringen
• Praksisteorierne giver internt commitment i
forhold til evalueringerne
• Praksisteorierne giver svar på, hvordan der
kan arbejdes med evalueringer, der tager
hensyn til de kontekster, der er tilstede
(kursets længde, deltagerne kompetencer
mv.)
• Praksisteoriens antagelser bliver
afprøvet i evalueringen
Logisk model
Målgruppe og problemstilling
Ressourcer og
organisatoriske
forudsætninger
Aktiviteter
Resultater
Virkninger
Antagelser om
sammenhænge =
praksisteori
Effekter
• Valg af fokusområde handler om at stille et
effektspørgsmål
• Der er overordnet to typer af
effektspørgsmål:
– HAR indsats A givet resultat B?
– HVORDAN har indsats A påvirket B?
• Eksempler:
– HAR brugen af Smart Board i undervisningen
styrket kursisternes læring?
– HVORDAN har Smart Board i undervisningen
understøttet kursisternes læring?
Effekter
Workshop 1: Vælg fokusområde
• Find sammen i grupperne
• Udvælg et af tre områder, som I ønsker at
arbejde med:
– Handlekompetence hos kursisterne
– Praksisnær læring
– Forskellige forudsætninger hos deltagerne
• Formuler sammen et effektsspørgsmål om
temaet. Eksempelvis:
– Hvordan understøtter x (en
metode/underviserens ageren/et
hjælpeværktøj/…) handlekompetencerne hos
kursisterne?
Praksisteori = hypoteser om praksis
• En praksisteori en beskrivelse af, hvad I tror
I gør nu, og hvorfor I tror, at det skaber
effekt.
Workshop 2: Lav praksisteori
• Beskriv med afsæt i jeres
fokusområde/effektspørgsmål en
praksisteori
• Praksisteorien skal være en beskrivelse af
jeres antagelser om sammenhæng
mellem aktiviteter og effekter
Evaluering med afsæt i praksisteori
• Når praksisteorien er beskrevet, er næste
step at vælge sin metode til evalueringen
–
–
–
–
Spørgeskemaundersøgelse
Interviews
Drøftelse på holdet
Skriftlige/mundtlige modeller (eksempelvis
Delphi)
Workshop 3
• Drøft i gruppen hvilken metode, der ville
være mest velegnet i jeres evaluering
• Drøft følgende:
– Hvad bidrager denne metode særligt?
– Hvilke svar bliver mulige med brug af denne
metode?
– Hvilke svar bliver ikke mulige med brug af
denne metode?
Opsamlende
• Hvad har været den vigtigste
pointe/erkendelse i dag?
• Hvad har været mest frustrerende?
• Hvad er der brug for nu?
Tak for i dag!