Transcript Analýza evaluace v GRV

Analýza monitoringu a evaluace
globálního rozvojového vzdělávání
v ČR 2008-2010
Národní seminář k metodám evaluací aktivit v
oblasti globálního rozvojového vzdělávání (GRV)
Praha, 2010
Zaměření analýzy
• Popis aktérů a jejich role v oblasti evaluace a monitoringu GRV v ČR
• Hlavní trendy v oblasti evaluace GRV v ČR – „Co a jak měříme?“
• Hlavní překážky a dobrá praxe v oblasti evaluace GRV v ČR
Monitoring nebo evaluace?
- v čem spočívá rozdíl?
Monitoring a evaluace jsou spolu vzájemně propojené
nástroje, které se však liší ve svém účelu a hloubce
zkoumání.
Monitoring
•
zaměřuje se na srovnávání probíhajících aktivit a výsledků s předem danými plány intervence
•
pomáhá udržovat projekt nebo program v žádoucím kurzu
•
je často prováděn realizátory projektu
Evaluace
•
poskytuje informace o příčinách úspěchů či neúspěchů intervence
•
nezaměřuje se pouze na vyhodnocování předem daných cílů
•
identifikuje záměrné i nezáměrné výsledky intervence
•
často je prováděna externími evaluátory
Evaluace GRV
•Úroveň evaluace programů
•Úroveň evaluace projektů
•Úroveň cílových skupin a příjemců
Aktéři evaluace GRV:
programová úroveň
Úroveň evaluace programů: MZV, ČRA, MŠMT, EC
•N e e x i s t o v a l s p o l e č n ý r e f e r e n č n í r á m e c k e v a l u a c i p r o g r a m ů
GRV (cíle, akční plán)
•D o s u d n e e x i s t o v a l n á s t r o j , j a k e v a l u o v a t d o t a č n í p r o g r a m
MZV jako celek
•V ý c h o d i s k e m m ů ž e v b u d o u c n u b ý t p ř i p r a v o v a n á N á r o d n í
strategie GRV
• Dosud mělo v kompetenci evaluaci dotačního programu ČRA,
přechází na ORS MZV
•Č Š I k o n t r o l u j e s o u l a d Š V P a R V P , j i n é p r i o r i t y n e ž p r ů ř e z o v á
témata
• EC svůj dotační program evaluuje
•
Aktéři evaluace GRV:
projektová úroveň
Úroveň evaluace projektů: donoři, realizátoři (NNO), externí
evaluátoři:
•Ze strany donorů byly od roku 2004 provedeny 2 evaluace projektů GRV
(nedostatek kapacit a zdrojů)
• Realizátoři začínají postupně zařazovat evaluace do projektů (dobrovolně
či jako požadavek donora)
• Některé z těchto evaluací jsou prováděny externími konzultanty, firmami
Aktéři evaluace GRV:
úroveň cílových skupin a
příjemců
Úroveň příjemců: učitelé, studenti, školy, multiplikátoři, veřejnost
• Poskytují některé informace nutné k evaluaci projektů
• Mohou se na evaluaci projektů sami podílet (participativní evaluace)
• Jednotlivé školy realizují evaluaci průřezového tématu VMEGS
Co měříme?
Průzkum indikátorů využívaných v projektech GRV v ČR:
• Vychází z předpokladu, že měříme to, co musíme na základě daných
indikátorů
• Cílem bylo zjistit, zda se nějak vyvíjel typ informací, které chceme zjišťovat
• 25 projektů GRV implementovaných mezi 2008 a 2010 zaměřených na
formální vzdělávání
Co měříme indikátory?
Typy indikátorů:
• měřící změnu stavu konečného příjemce (studenti, žáci, veřejnost)
• měřící změnu praxe multiplikátorů (učitel, školitel, škola)
• měřící změnu stavu v systému
• měřící pouze splnění projektové aktivity
Co měříme indikátory?
Co měříme indikátory?
Co měříme indikátory?
Co měříme indikátory?
Jak měříme?
Nejčastěji využívané nástroje:
•dotazníky mezi účastníky školení bezprostředně po školení
• dotazníky mezi mezi studenty nebo učiteli na školách, (pravidelně, na konci
projektu, před a po projektu)
• focus groups, rozhovory
• náhodné získávání zpětné vazby
Příklady dobré praxe
• zjišťování znalostí a postojů studentů před a po projektu (s kontrolní
skupinou)
• při dlouhodobé práci s konkrétními učiteli pravidelně opakované zjišťování,
jak jsou využívany materiály
• kombinace dotazníkových kvantitativních šetření s kvalitativně zaměřenými
focus groups
• učitelé na škole si na začátku sami stanoví cíle, s časovým odstupem
hodnotí, jak se jim podařilo jich dosáhnout
• spolupráce s učiteli na metodologii, jak sledovat vývoj postojů žáků
Co nám brání evaluovat?
Nedostatečné kapacity:
• v oblasti metodologie evaluace
• finanční zdroje
Časové omezení v případě jednoletých projektů
Na systémové úrovní chybí jednoznačný referenční rámec
Doporučení
Na systémové úrovni:
• Přijmout Národní strategii GRV jako základ pro evaluaci GRV
• Vyčlenit odpovídající finanční zdroje na evaluaci programů GRV
• Učinit kvalitní evaluaci součástí projektů v oblasti GRV
• Podporovat víceleté projekty, programy v oblasti GRV
Na úrovni realizátorů projektů:
• Využívat existujících příležitostí pro systematickou evaluaci GRV
• Zvyšovat své kapacity v oblasti monitoringu a evaluace GRV
Otázky, nápady, nejasnosti…?
Děkuji za pozornost