Transcript EVALUACE PROGRAMU

EVALUACE PROGRAMU
Jan Činčera, 2010
Obsah

Úvodní pojmy, příklady, smysl evaluace…
Informac
eo
program
u
Evaluačn
í zpráva

Cyklus evaluace

Tipy
Sběr a
analýza
dat
Evaluačn
í otázky
Plán
evaluac
e
Příklad 1 Zelená škola






Realizátor zvolil nevhodný způsob bodování škol
zapojených do projektu.
V důsledku učitelé špatně pochopili smysl programu.
Těžiště aktivity se z dětí přesunulo na učitele.
Učitelé naplňovali program aktivitami podle svého uvážení.
Program neměl měřitelný vliv na žáky.
Realizátor přehodnotil systém bodování škol.
Příklad 2 GLOBE



Učitelé realizují pouze některé z doporučených typů
aktivit – vynechávají analytické a projektově
orientované aktivity.
Program sice ovlivňuje znalosti, ale nikoliv výzkumné
dovednosti dětí.
Realizátor připravuje nové metodiky na zaškolení
učitelů.
Příklad 3 Kurz pro koordinátory EV



Účastníci většinou spokojeni s průběhem, chyběla jim
ale metodika.
Menšina nespokojená – střety s vlastní představou o
EV x organizátoři
Absolventi přesto nezvládají připravit program.
 Realizátor
evaluaci.
připravil novou metodiku kurzů a zahájil jejich
Evaluace

= proces kritického prověřování programu. Zahrnuje
sběr a analýzu informací o aktivitách programu, jeho
charakteristikách a výstupech. Jejím cílem je
formulovat stanoviska o programu ke zvýšení jeho
efektivity a / nebo k poskytnutí informací pro
rozhodování o programu.
Proč evaluace?




Zkvalitnění programu
Úspory v organizaci
Prezentace
Komunikace se sponzory
Kdy má evaluace smysl





Je reálná šance, že program funguje
Program je možné evaluovat
Program stojí za to evaluovat
Realizátor je otevřený zpětné vazbě a modifikacím programu,
má o evaluaci zájem
Programy, které neprošly sumativní evaluací,
pravděpodobně nefungují podle očekávání realizátorů.
Obecné zásady



Neexistuje ideální evaluační design
Pragmatický přístup k evaluaci
Participace
evaluátor – středisko
 empatická neutralita evaluátora


Opatrnost v interpretacích a doporučeních

Žádná evaluace neříká přesnou výpověď,
pravděpodobnostní charakter
Evaluační roviny
Spokojenost
Učení
Chování
Dopady
Teorie programu
Vstupy
Aktivity
Krátkodobé
dopady
(spokojenost,
učení)
Střednědobé
dopady
(transfer do
chování)
Dlouhodobé
dopady (vliv
na komunitu)
Logický model programu
Program = souhrn aktivit, které naplňují společné cíle.
Zaškolení
týmu
Příprava
manuálu
Prezentace
CS
Kooperativní
aktivity
Proakční
přesvědčení
Akční znalosti
Kooperativní
dovednosti
Přesvědčení o
zvládnutelnosti
spolupráce
Zajištění
klientely
Diskuse o
místních
problémech
Vyřešený místní
problém
Spolupráce na
řešení místního
problému
Typy evaluace




Expertní hodnocení
Analýza potřeb
Analýza náklady výstupy
Akční výzkum
Vstupy
Aktivity



Monitoring
Formativní evaluace
Sumativní evaluace
Krátkodobé
dopady
(spokojenost,
učení)
Střednědobé
dopady
(transfer do
chování)
Dlouhodobé
dopady (vliv
na komunitu)
Evaluační proces
Informace o
programu
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán
evaluace
Informace o
programu
Informace o programu

Expertní hodnocení





Evaluační
otázky
Sběr a
analýza dat
Paradigma programu


Evaluační
zpráva
Plán evaluace
Výstupově x procesně orientovaný
Metodická východiska…
Logický model programu
Tématický rámec programu
Organizační model (sekvence) programu
Předchozí evaluace a zkušenosti s programem
Vstupy
Aktivity
Krátkodobé
dopady
(spokojenost,
učení)
Střednědobé
dopady (transfer
do chování)
Dlouhodobé
dopady (vliv na
komunitu)
Informace o
programu
Evaluační otázky



Evaluační
zpráva
Evaluační
otázky
Co chceme zjistit?
Jaké roviny logického modelu chceme zkoumat?
Jaké jsou základní indikátory pro evaluační otázky?
Sběr a
analýza dat
Plán evaluace
Příklady evaluačních otázek
Informace o
programu
Evaluační
zpráva
Do jaké míry program rozvíjí znalosti
dětí o globálních problémech?
 Chovají se absolventi programu k životnímu prostředí
jinak než děti, které ho neabsolvovaly?
 Co si děti v průběhu programu uvědomily nového?
 Měl program vliv na další život dětí?
 Které konkrétní aktivity děti nejvíce ovlivnily?

Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Informace o
programu
Plán (design) evaluace

Kvantitativní
Evaluační
zpráva
Sběr a
analýza dat
Do jaké míry bylo dosaženo očekávaných
výstupů programu?
 Čísla: četnosti, průměry, čísla, statistická významnost


Kvalitativní




Proč účastníci reagovali při programu tak, jak reagovali?
Jak účastníci interpretují to, co se dozvěděli?
Slova, obrazy, situace: textová analýza
Smíšený
Evaluační
otázky
Plán evaluace
Informace o
programu
Kvantitativní metodika

Předpoklady
 Program
lze objektivně měřit
 Výstupy lze kvantifikovat

Plán evaluace
 Monitoring
výstupů
 Experimenty a kvaziexperimenty
 Korelační analýza
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Informace o
programu
Kvantitativní metodika





Výběr vzorku
Plán sběru dat
Metody sběru dat
Analýza dat
Interpretace dat
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Informace o
programu
Výběr vzorku
Evaluační
zpráva
Sběr a
analýza dat



Census – všichni účastníci
Náhodný – randomizované experimenty
Jiný (dostupnost, samovýběr)- kvazi experimenty
Evaluační
otázky
Plán evaluace
Informace o
programu
Monitoring výstupů
Evaluační
zpráva
Evaluační
otázky
Indikátory = přesná a měřitelná kritéria pro
vyhodnocení míry dosažení daného výstupu.
 CO? Jak mnoho – hladina úspěšnosti?
 Př.: 70% žáků na myšlenkové mapě uvede správně alespoň tři
různé činnosti, kterými ovlivňuje životní prostředí s uvedením
alespoň jednoho environmentálního dopadu každého z nich.
 Vhodné pro jednoduché evaluace, kdy předpokládáme
vstupní úroveň účastníků a není pravděpodobný vliv jiných
faktorů

Sběr a
analýza dat
Plán evaluace
Informace o
programu
Plán vyhodnocování indikátorů
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Výstup
Indikátory
Sběr dat
• Ve spolupráci
s kolegy
zpracuje SWOT
analýzu EVVO
své školy podle
předem daných
kritérií.
• Ze zpracované
SWOT analýzy
získají nejméně
2/3 účastníků
více než 50%
bodů.
• Úkol: zpracovat
SWOT analýzu
• Hodnotící
tabulka:
seznam kritérií
Informace o
programu
Experimenty
Evaluační
zpráva
Sběr a
analýza dat
Pretest
Evaluační
otázky
Plán evaluace
Program
Posttest 1
Posttest 2
-
Posttest 1
Posttest 2
Experimentální skupina
Pretest
Kontrolní skupina
Informace o
programu
Korelační analýza

Vztah dvou či více proměnných


Pozitivní či negativní korelace
Důvody




Chybí kontrolní skupina
Méně fixní program ve více variantách
Sledujeme vliv jedné proměnné
Sledujeme vliv kombinace proměnných
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Informace o
programu
Metody sběru dat




Ankety
Dotazníky
Testy
Pozorování (observační
tabulka)
Evaluační
zpráva




Validita
Reliabilita
Anonymita
Přesné a jednotné
zadání
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Informace o
programu
Analýza dat

Monitoring
 Deskriptivní

Evaluační
zpráva
Sběr a
analýza dat
statistika – porovnání indikátory: data
Experimenty
 Statistická
významnost rozdílů mezi skupinami
 Velikost účinku (size effect)

Korelační analýzy
 Síla
korelace
Evaluační
otázky
Plán evaluace
Informace o
programu
Kvalitativní metodika

Předpoklady
 Program
Evaluační
zpráva
Sběr a
analýza dat
interpretuje každý jinak – neexistuje
"objektivní" realita programu
 Zajímají mě právě subjektivní výpovědi, jedinečnost,
kontrastnost
Evaluační
otázky
Plán evaluace
Informace o
programu
Kvalitativní metodika





Výběr vzorku
Plán sběru dat
Metody sběru dat
Analýza dat
Interpretace dat
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Informace o
programu
Výběr vzorku

NENÍ náhodný, ale záměrný
 Např.
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
kontrastní vzorkování, sněhová koule, respondenti
podle jistých charakteristik, podle dostupnosti...
Informace o
programu
Plán sběru dat




Evaluační
zpráva
Evaluační
otázky
NENÍ lineární, ale cyklický
Není předem daný rozsah
Data se sbírají, dokud nejsou nasyceny sledované kategorie
Typy
 Zakotvená teorie
Sběr
Analýza
dat
dat
 Etnografický průzkum…
 Smíšený plán QUAL+quan…
Sběr a
analýza dat
Plán evaluace
Informace o
programu
Metody sběru dat




Rozhovory
Ohniskové skupiny
Pozorování, nahrávky
Analýza textů, posterů,
artefaktů, deníků,
portfólií..
Evaluační
zpráva
Sběr a
analýza dat


Důvěryhodnost
Triangulace
Evaluační
otázky
Plán evaluace
Informace o
programu
Analýza dat



Evaluační
zpráva
Kódování
Vytváření obecných kategorií a subkategorií
(témat)
Analýza vztahů mezi kategoriemi, modely
…Toto odpoledne bylo zvláštní!
Líbilo se mi, když jsme byli
v restauraci SVĚT. Ale vadilo mi,
že v Ghaně a dalších chudých
zemích měli jen chleba a
výjimečně vodu!...
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Informace o
programu
Evaluační zpráva
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Cíle evaluace
Popis programu
Evaluační otázky
Indikátory, design evaluace
Charakteristika vzorku
Metody sběru dat
Prezentace výsledků
Interpretace, diskuse
Doporučení
Závěry
Evaluační
zpráva
Sběr a
analýza dat
Evaluační
otázky
Plán evaluace
Jak začít






Kritická analýza vlastního programu
Samostatně x externí evaluátor
Formativní evaluace, akční výzkum
Finanční zdroje
Čas
Odhodlání
Jak evaluovat různé výstupy
Typ výstupů
Metoda sběru dat
Specifické nástroje a postupy
Znalosti
Testy
Dovednosti
• Manuální
• Kognitivní
Testy
Pozorování
Analýza dokumentů
Hodnotící tabulka, Indikátory
Zcitlivující koncepty
Postoje a hodnoty
Dotazníky
Pozorování
Dokumenty, portfolia…
Rozhovory
Obrázky, imaginární cesty..
Standardizované nástroje
Stejně jako dovednosti či chování
Chování
Dotazníky
Rozhovory
Pozorování
Posttest 2 – delší časový odstup
Jak evaluovat afektivní proměnné





Senzitivita
Ohnisko kontroly
 Obecné
 Specifické
(sebehodnocení)
Obecné postoje
Specifické postoje
Hodnoty



Měřitelné vyjádření
(formuluje a odůvodní
vlastní stanovisko k
řešení problému)
Standardizované
nástroje
Kvalitativně
Dotazy…

Jan Činčera, [email protected]