Transcript Evaluace programu

Evaluace programu 1
J.Hendl
Evidence based practice, politics
Praxe založená na evidenci
Odvozuje se od EBM (Evidence based
medicine) – Archie Cochrane (C1)
Donald Campbell (C2) v oblasti
sociálních věd
Co je program?
Program = Intervence
Oblasti aplikace
Školství
Zdravotnictví
Trh práce
Sociální a rodinná politika
Ekologie
Výzkum organizací
Sportovní management
Co je evaluace programu?
Docílil program to, co zamýšlel
docílit?
Co se hodnotí
Efektivita a užitečnost politických,
sociálních a ekologických programů,
opatření a zákonů, pedagogických a
terapeutických intervencí, organizačních
změn a inovací
Proč evaluovat, hodnotit?
Evaluace nám může říci
zda pokračovat v programu
změnit program
zastavit program
Cíle evaluce
Popis programu (o co jde ?)
Porovnání (jak se liší od jiných
programů ?)
Predikce (Co se dokáže)
Typy evaluace
formativní
Procesu (formativní)
Výsledků (sumativní)
Důsledků (sumativní)
Ekonomická (sumativní)
Jedná se o doporučenou sekvenci, nemůžeme
dělat danou evaluační fázi bez předchozí fáze,
např. není možné dělat evaluaci důsledků,
jestliže nemáme pozitivní evidenci výsledků
Formativní evaluace
Realizace před dalšími typy evaluací
 Pomáhá vymezit problém řešený
programem
 Určuje možnost programu
 Lépe definuje cílovou populaci
 Poskytuje základ pro srovnání, data
 Spolupracuje se s cílovou populací
11
Formativní evaluace
Realizace před dalšími typy evaluací
 Jaký je důvod program?
 Jaká je cílová skupina?
 Jaké jsou její potřeby?
 Jaké jsou zdroje?
 Jak se program uskuteční?
12
Formativní evaluace
Někdy se také specificky jako evaluace
potřeby
Také se zařazuje při ladění programu
13
Evaluace procesu
Probíhá vše podle plánu?
Hodnocení prováděných aktivit




Není možné hodnotit program bez
hodnocení aktivit
Nejčastěji prováděná evaluace, protože se
považuje za jednodušší
Provádí často programová skupina (ne
vnější evaluátor)
Týdenní, měsíční, roční
14
Evaluace procesu
Hodnocení prováděných aktivit



Týdenní, měsíční, roční
Někdy se tato evaluace také zařazuje do
kategorie formativní evaluace, pokud jde o
evaluaci první fáze implementace
programu
Evaluace procesu spíše znamená znamená
aplikaci evaluace k monitorování rutinního
provozu programu
15
Evaluace procesu
Hodnocení aktivit, které mají být
vykonávány
Prezentuje zprávu o tom, co se
skutečně dělá
(obvykle se porovnává s tím, co se mělo dělat)
16
Evaluace výsledků
Měření celkové efektivity programu –
pomocí specifických cílů



Došlo ke změně účastníků?
Může zahrnout změny chování, postojů,
znalostí
Běžně se zjišťuje ročně
O tom, zda aktivity mají kumulativní
efekt
17
Evaluace výsledků
Také se nazývá sumativní evaluace
Také:



Jaké jsou efekty?
Jaké jsou negativní efekty?
Kdo nejvíce profituje z programu?
18
Další typy evaluace
Evaluace důsledků, vlivu

Měří se dlouhodobá změna v cílové
populaci
Ekonomická evaluace



Jaké jsou náklady různých vstupů?
Jaké jsou náklady pro dosažení požadované
úrovně?
Porovnávají se programy s podobným
zaměřením, ekonomická náročnost a
dlouhodobé důsledky
Evaluace se vztahem k plánování,
implementaci a výsledkům
(CDC – centrum pro kontrolu nemocnosti)
11
Plánování
Implementace
Formativní
evaluace
-Monitorování procesu
-Evaluace procesu
Výsledky
-Monitorování výsledků
-Evaluace výsledků
-Evaluace důsledků
Plánování programu
Plánovaná
intervence
Očekávaný
výsledek
Implementace programu
Plánovaný
program
Aktuální
program
Evaluace procesu
Porovnání plánovaného a
skutečného
Očekávaný
výsledek
Implementace
Planovaný
program
Aktuální
program
Aktuální
výsledek
Monitorování výsledků
Ukazuje na skutečné výsledky
Implementace
Planovaný
program
Aktuální
program
Očekávaný
výsledek
Aktuální
výsledek
Monitorování výsledků
Porovnávají se skutečné
výsledky a plánované
Implementace
Skutečný
program
Bezprostřední
výsledky
Dlouhodobé
důsledky
Evaluace výsledků
Ukazuje bezprostřední důsledky
intervence.
Evaluace programu
Proč hodnotit?
•
•
•
Verifikace, zda program
skutečně funguje, jak bylo
předpokládáno.
Porozumění, verifikace důsledků
programu.
Identifikování slabých a silných
stránek a oblastí zlepšení
programu
Evaluace se provádí pro
•
•
•
Agentury a jejich vedoucí
komunitu
Cílovou populaci
Kroky procesu evaluace
plánování evaluace


Definice účelu
Zahrnutí stakeholder
formulace účelu/cílů/indikátorů

Na co/koho se zaměřit
 (co se mělo změnit)

Co se bude měřit, aby se změna podchytila
Kroky procesu evaluace
Výběr metody a plánu výzkumu

Jak a kdy měřit (časový rámec, prostředky,
přístupy)
Provedení evaluace



Pilotáž/začíná se již při implementaci
Monitorován procesů
Shromažďování existujících/nových dat
Kroky evaluačního procesu
Analýza dat a interpretace



Zajištění kvality dat,
Provedení analýzy
Vytváření informací z dat
Rozhodování při evaluaci
Co se bude evaluovat?
 Co je programem a jaký je kontext?
Jaké aspekty se budou uvažovat při
posuzování výkonu programu?
Jaké standardy (úroveň výkonu) určí, kdy je
program úspěšný?
Rozhodování při evaluaci
Jaká evidence bude svědčit o to, jak program
funguje?

Jaké informace jsou relevantní
Použitím této evidence jaké můžeme provést
závěry?


Srovnání se standardy?
Hodnota, kvalita, užitečnost, efektivita
Co je možné se naučit provedenou evaluací?
Kvalita evaluace – hodnocení
evaluce
Užitečnost
Proveditelnost
Oprávněnost – etika
Technická adekvátnost – metodologicky
správně
Proč se evaluace neprovádějí?
Překážky k evaluaci
“obtížné”
“není čas”
“nejsou peníze”, „někoho by to
poškodilo“
“víme, že to je dobře”
“stejně naší zprávu nebude nikdo číst”
Překonání překážek
Zajištění již na začátku programu a při
přípravě projektu programu
Tak, aby to bylo užitečné pro program,
nejenom pro agenturu
Spolupráce s účastníky
Zajištění realistických cílů a časových
dispozic
Překonání překážek
Návrh správných indikátorů
Školení a technická asistence
Překonání překážek
Zajištění zpětné vazby k programu
Zabudování do běžných aktivit
programu (Použití stávajících metod a
nástrojů programu)
Souhrn
Evaluace




Poskytuje informace o programu pro
plánování dalších programů
Popisuje a verifikuje, co se skutečně
implementovalo
Demonstruje změny
Poskytuje zpětnou vazbu účastníkům