Transcript OP - Svenska ESF

Bord 1-4
•
Vem är lärandet till för? Vad ska läras? Vem ska lära?
Bord 5-6
•
Hur lyckas med strategisk påverkan/Public debate?
Bord 7,10,11
•
Utvärderarrollen. Coach? Analytiker? Strateg? Biträdande projektledare? Expert?
Resursperson?
Bord 12-13
•
Vem säkerställer att lärandet tas tillvara? Hur får vi mottagarna att ta tillvara och
använda i befintlig verksamhet?
Bord 14-15
•
Hur kan man följa effekterna av ett projekt? Efter projekttiden? Även oväntade
effekter? Hur mäter, tolkar och värderar vi projektens effekter?
Bord 17
•
Hur kan utvärdering bidra i tidiga skeden i projekten? Ex ante? Projektlogik?
Beställarkompetens?
Bord 19
•
Hur kan utvärdering stärka arbetet med de horisontella kriterierna?
Bord 20
•
Görs utvärdering på ett enhetligt och konsekvent sätt så att man kan jämföra?
[email protected]
Välkommen till nationell konferens om
lärande utvärdering/följeforskning
Stockholm 23 september 2010
Utvecklingdynamiskt lärande och
multiplikatoreffekter
genom följeforskning och processtödjande
utvärdering i projekt!
Göran Brulin, ansvarig för följeforskning i de
regionala strukturfondsprogrammen, Sven
Jansson, nationell samordnare för utvärdering
av det nationella Socialfondsprogrammet
23 sept 2010
3
Reviderande, kontrafaktisk
eller utvecklingsstödjande utvärdering?
4
Samspelet i Sverige 2007-2013
Socialfonden
ESF rådet
OP
Regionalfonden
RP
Tillväxtverket
Operativt program (OP)
Regional plan (RP)
OP
RP
OP
RP
OP
RP
OP
RP
OP
RP
OP
RP
OP
ÖK
Strukturfondspartnerskap
i respektive region
ÖK
ÖK
ÖK
Reflektioner efter föregående programperioder
•
•
•
•
•
Riksrevisionen: För mycket detaljkontroll och övervakning – för
små investeringar i lärande utvärdering som stöd för regional
utveckling.
ITPS: Stora investeringar i regional utveckling, små eller inga
effekter på regional tillväxt kan identifieras, ”17,8 miljarder i
sjön”. (Obs. denna utvärdering gällde första programperioden,
ex post från förra är inte ännu producerad.)
Statskontoret: För många små projekt, för splittrad
projektportfölj, mycket liten samverkan mellan Regionalfonden
och Socialfonden.
Den traditionella halv-tidsutvärderingen utfördes för sent och
hade liten påverkan på programgenomförandet, bör ersättas av
”ongoing evaluation” dvs. följeforskning i projekten och i
programgenomförandet
Generellt argumenterar all utvärdering för att det behövs mer
återföring av resultat och erfarenheter.
6
ESF-Tillväxtverket samarbetar om
utvärdering/följeforskning för att skapa:
1)
2)
3)
professionalisering och kvalitetssäkring
av följeforskar-/utvärderarrollen.
en regional struktur av processtödjande
utvärderare och följeforskare för de åtta
regionerna.
utvärdera genomförande-organisationen
där myndigheterna utgör varandras
referensobjekt.
Professionalisering av följeforskaroch utvärderarrollen:
a) Gemensam kurs och läromedel i
utvärdering och följeforskning med
Linköpings universitet.
b) Framtagning av gemensam
vägledningsskrift (som utgår från ”Nytta med
följeforskning” och ”Handledning i uppföljning och
för lärande och utvärdering av
strukturfonderna
Nationellt nätverk för processtödjande
följeforskare och utvärderare, nationell
konferens, newsletter/skriftserie m.m.
utvärdering”)
c)
Utvärderingsuppdraget
•
Förvaltande myndighet har delegerat ansvaret för
utvärderingen = oberoende OCH verksamhetsnära
•
Upphandla, koordinera och följa de
utvärderingsinsatser som genomförs på
programnivån
•
Riktlinjer för utvärderingsinsatser på projektnivån
•
Skapa arenor/förutsättningar för återföring och
lärande genom exempelvis lärandekonferenser
•
Synteser av alla utvärderingsinsatser – i
förlängningen underlag för ”Public Debate”
9
Den planeringsstyrda
utvärderingsmodellen
Resultat (summativ)
• Mätning/kontroll
• Identifiering av avvikelser
• Skriftlig
• Uppifrån
• Envägs
• Distanserat
• Slutet, förutsägbart
• Anpassningsinriktat
•
10
Produktionsprojekt
Fokus på resultat
Slutna förutsättningar – medel, mål och
förutsättningar förutbestämda
Förprojektering
R
E
Effekter:
• Förväntade
• Lätta att mäta
• Uppnås automatiskt om projektet är lyckat
• Andras ansvar
• Ibland icke önskvärda
Den utvecklingsstödjande
utvärderingsmodellen
Process (formativ)
• Lärande/förståelse
• Multiplikatoreffekter
• Muntlig och skriftlig
• Integrerat nedifrån och uppifrån
• Tvåvägs
• Närhet
• Öppet, oförutsägbart
• Utvecklingsinriktat
•
12
Utvecklingsprojekt
Fokus på både resultat och effekter
Öppna förutsättningar – medel, mål och förutsättningar
analyseras och omprövas kontinuerligt
Förprojektering
Effekter:
• Förväntade till viss del
• Svåra att mäta
• Uppnås inte automatiskt om projektet är lyckat
• Projektets ansvar
• Ofta uteblivna
R
+
E
Jämförelse
SMART-kriterierna: målen ska vara
Specifika, Mätbara, Antagna och
Accepterade, Realistiska och Tidsatta.
(Kontrafaktiska studier, semiexperiment
och ceteris paribus-antaganden utgör
grund för val av utvärderingsmetoder.)
STRUFO-kriterierna: styrning mot
Sysselsättning; Tillväxt; beständiga
Resultat och långsiktiga effekter – genom
Utvecklingsstödjande utvärdering som är
Forskningsanknuten och
Omvärldsrelaterad. (Fortlöpande dialog
för kontinuerliga förbättringar, insatsen
utmynnar i lär- och kunskapsprodukt.)
14
Vad innebär lärande utvärdering?
Utvärderingen är användbar under resans
gång!
• Löpande återföring och återkoppling av
utveckling/resultat (bedömning av
måluppfyllelse)
• Inte bara observatör ÄVEN kritisk och
aktiv utvecklingsroll!
• Utvärderaren ska vara innanför med
integritet
•
15
Projektföljeforskning
•
Projektlogik
•
Processer för mottagande
•
Public debate
Tre P:n som ska ge tre F: Förnya,
Förbättra, Förstärka regionernas tillväxt
och sysselsättningsskapande!
16
Projektlogik
-
Hur ser realismen ut i projektet, kan projektet med givna
resurser och planerade aktiviteter nå målen ?
-
Hur ser möjligheterna ut för projektet att uppnå de
uppsatta målen och resultat, tex vad gäller nya jobb och
företag, både utifrån de inre och yttre förutsättningarna ?
-
Kritisk granskning görs utifrån arbetssätt , aktiviteter samt
kontexten.
-
Tex ska stora forskningsrelaterade projekt ska leda till
innovationer och kommersialisering, nya företag och jobb.
-
Löpande återkoppling och reflektion med projektledning.
-
Slutligen måste det finnas mottagarmiljöer..
17
Processer för mottagande i regionala miljöer
•
Finns det en regional innovationsmiljö som kan ta emot
de kunskaper och resultat som projektet genererat ?
•
Finns det en struktur för implementering av projektets
resultat i ordinarie verksamhet ?
•
Finns det ett ”tänk” och en planering för överlämning
av projektets resultat i den löpande
projektverksamheten ?
•
En analys av kopplingen mellan projektets direkta
resultat och mer långsiktiga effekter.
•
Löpande återkoppling och reflektion med
projektledning.
18
Tillväxtverket
•
Stora strategiska projekt förväntas ha fortlöpande utvärdering (4
– 5 procent av projektbudgeten, 10 mkr EU-stöd) för
kontinuerliga förbättringar.
•
Nya projekt ska i framtiden bygga på erfarenheter och kunskaper
från liknande projekt och expertstöd.
•
Fortlöpande analyseras hur projekt bidrar till programuppfyllande
och ger långsiktiga effekter.
•
Följeforskarens uppgift är att bidra till lärande för förbättringar av
regionala utvecklingsstrategier; skapa helheter; genomdriva
horisontella kriterier; skapa lärande i den lokala och regionala
kontexten.
•
Målet är utveckling genom öppen och offentlig diskussion, jfr
PUBLIC DEBATE.
19
SOCIALFONDENS MERVÄRDE I SVERIGE
Mervärde ska skapas genom att göra det
möjligt att påverka och förbättra:
1.
2.
3.
4.
individer, gruppers situation i arbetslivet
företagens strategier, produktivitet, tillväxt
arbetsplatsernas formella och informella rutiner
policy och idéutveckling inom politikområden, strukturer,
institutioner
Uppföljning och utvärdering
Viktigt område där större ansvar läggs såväl på
program- som projektnivå.
Projektägare får större ansvar att följa upp och
utvärdera sina insatser i syfte att bidra till lärande och
god styrning.
Syftar också till att öka projektresultatens genomslag.
Erfarenheter hittills
•
För lite fokus läggs på utvärdering och lärande
(både strategi och budget)
•
Relativt ofta finns processutvärdering/
följeforskning
•
Mer sällan slututvärdering med tex
socioekonomiska bokslut
•
Brister i analys av vem som ska påverkas, ta emot
de resultat som kommer fram
Utvärderingsnätverk (ESF)
En samordnare per kontor
• Bygga upp kunskap om
utvärdering/uppföljning och
strategisk påverkan
• Nätverket ska vara resurs för
kollegor och myndigheten i dessa
frågor
•
Lärandeåterföring
•
Former/arenor, metoder
–
–
–
–
–
–
–
Temagrupper
Följeforskning
Processtöd
Seminarier för kunskapsutveckling, lärande
och erfarenhetsutbyte
Webbplats, projektbank
Samverkan med andra program och regionala
utvecklingsaktörer
Capacity building, kurser, fortbildning,
erfarenhetsutbyte, läroböcker
Några observandum
•
•
•
•
•
•
Bristfällig kompetens att upphandla processtödjande
utvärdering och följeforskning.
Roller och uppgifter ej klargjorda från början uppenbar
risk att följeforskarna/utvärderarna kommer för nära
projekten blir biträdande projektledare.
Fokus i lägesrapporter redovisa utfall och aktiviteter,
snarare än att kritiskt granska resultat och långsiktiga
effekter.
Frågan är om följeforskarna/utvärderarna förstår och
klarar av att lyfta den kritiska granskningen och göra
kopplingar till de övergripande målen.
Brist på utvärderare som har erfarenheter av denna typ
av utvärderingsansats brister.
Medel som har avsatts för processtödjande utvärdering
och följeforskning har ofta varit för små.
Kvalitetssäkring:
•
•
•
Krav på en plan för utvärdering ska finnas med i
ansökan och nödvändiga medel för utvärdering avsätts
Stöd vid upphandling av utvärdering.
Utvärderarna bör ha dokumenterad kompetens av
lärande utvärdering, t.ex. ha genomgått
högskoleutbildningen i lärande utvärdering och
följeforskning som nu ges på sex lärosäten i landet.
Kvalitetssäkring
•
•
•
•
Professionalisering genom att nätverk organiseras i alla
regioner för en kontinuerlig fortbildning och ett
professionellt erfarenhetsutbyte.
Utvärderingen ska återföras till styrgrupperna i
projekten.
Syftet med utvärdering måste tydliggöras och analys av
resultat och effekter måste ingå i utvärderingen och
bedömas i relation till kostnaderna för projekten.
Hållbarheten i ska bedömas, dvs. projektens förmåga
och/eller deras resultat att stå på egna ben efter det att
finansieringen upphört eller ha integrerats i en befintlig
verksamhet.
Kvalitetssäkring
•
•
Projektens bidrag till att förändra, förbättra och
förstärka regionala tillväxten och
sysselsättningskapandet ska vara centrala frågor i
utvärderingen och följeforskningen.
Utvärderingarna ska utmynna i kunskaps- och
lärprodukter som driver på den regionala tillväxten och
sysselsättningsskapandet.