Transcript zydziunaite_rezultatu_poveikio_vertinimas_ESF_2010

PROJEKTŲ REZULTATŲ IR
POVEIKIO EFEKTYVUMO
VERTINIMAS
Prof. dr. Vilma Žydžiūnaitė
E-mail: [email protected]
Zydziunaite, 2010
1
• VERTINIMAS
Zydziunaite, 2010
2
• Vertinimo poreikis projekte
Zydziunaite, 2010
3
• Vertinimai, vykdant projekto veiklas ir
siekiant konkrečių rezultatų, turi būti
vykdomi ne tik galutiniame projekto
etape (galutinis ar apibendrinamasis
vertinimas, vadinamas apibendrinamuoju
vertinimu / įvertinimu), bet ir viso projekto
eigoje (tarpiniai vertinimai).
Zydziunaite, 2010
4
• Vertinimo termino vartojimas
Zydziunaite, 2010
5
• Vertinimo ir įvertinimo sąvokos netapačios:
vertinimui (-ams) atlikti būtinas duomenų
rinkimas, analizė, interpretacija ir
apibendrinimas, kas sudaro galimybes
priimti sprendimus - įvertinimus.
• Metodikoje koncentruojamasi tik į
vertinimą (anglų k. – evaluation).
Zydziunaite, 2010
6
• Skirtingose projektų rezultatų kategorijose
vertinimas ir įvertinimas turi skirtingus
objektus
Zydziunaite, 2010
7
Edukacinė kategorija
• interakcinis / sąveikos (mokymai, mokomieji vizitai),
• medžiaginis [leidiniai (knygos, metodikos, programos),
• informacinių technologijų (rekomendacijos elektronine
forma, elektroninis informacinis biuletenis),
• kognityvus (vertimas, leidinio parengimas),
• audiovizualinis (vaizdo klipas, fotoalbumas),
• leidybos (knygos leidyba),
• švietimo (visuomenei skirtas renginys, vieši
prisistatymai),
• politikos (koncepcija, veiksmų planas),
• administravimo (leidinių platinimas, tinklapio
administravimas),
• informavimo (informacijos skleidimas spaudoje)
Zydziunaite, 2010
8
Tyrimų / empirinė kategorija
• interakcinis / sąveikos (tikslinės tyrimo dalyvių
grupės atranka),
• informacinių technologijų (duomenų parengimo
analizei kodų matrica kompiuterinėje programoje),
• medžiaginis (straipsnis, tyrimo ataskaita),
• kognityvinis (suformuluotos išvados,
suformuluotos rekomendacijos),
• proceso (įvykdytas tyrimas (apklausa, interviu),
atrinkta tyrimo medžiaga, pilotinis išbandymas
(mokymo kurso),
• edukacinis (testuotas modulis, adaptuotas
modulis),
• leidybos (galimybių studijos leidyba).
Zydziunaite, 2010
9
Rekreacijos kategorija
• lavinimo (pažintinės išvykos (vizitai,
ekskursijos),
• papildomo ugdymo (vaikų užimtumo
užsiėmimai, sporto užsiėmimai),
• socializacijos (vasaros stovykla,
koncertas).
Zydziunaite, 2010
10
Paramos kategorija
• medžiaginis (įsigytas inventorius),
• mokymo/si (nupirktos knygos),
• savišvietos (sudarytos galimybės naudotis
internetu užprenumeruoti leidiniai),
• proceso (funkcionuojantis paramos
centras),
• paslaugos (medicinos paslaugos),
• farmacinis (medikamentai).
Zydziunaite, 2010
11
Informacinių technologijų kategorija
• kognityvinis (interneto puslapio / tinklalapio
sukūrimas, elektroninės skilties
parengimas, reklaminių skydelių
sukūrimas, internetinių informacinių laidų
ciklo sukūrimas),
• proceso (interneto svetainės turinio
administravimas, įregistruotas domenas,
elektroninės skilties administravimas).
Zydziunaite, 2010
12
• Vertinant rezultatus skirtingose
kategorijose, jiems suteikiamos vertės,
parodomas objektų vertingumas: jų
požymiai, reikšmingumas įvairiuose
lygmenyse (pvz., asmeniniame,
bendruomenės, organizaciniame,
visuomenės ar kt.), nes kiekvienu rezultatu
siekiama patenkinti konkrečius poreikius
(pvz., kultūrinius, politinius, socialinius,
edukacinius ir kt.)
Zydziunaite, 2010
13
• PROJEKTO REZULTATAS
Zydziunaite, 2010
14
• Projekto rezultato (anglų k. – project outcome,
deliverable, result) terminas vartojamas projektų
vadyboje apibrėžti apčiuopiamą, juntamą,
akivaizdų, materialų arba neapčiuopiamą,
neapibrėžtą, nematerialų objektą (produktą),
kuris skirtas konkrečiam vartotojui.
• Projekto rezultatu gali būti ataskaita,
dokumentas, serverio patobulinimas, leidybos
procesas, parengta knyga ir kt.
Zydziunaite, 2010
15
• Metodikoje vartojama tik projekto rezultato
sąvoka (adekvati projekto produkto
sąvokai), kuri suprantama holistiškai, t. y. ji
savo turinyje gali apimti ir konkrečias
gaires (traktuotinas konkrečiu rezultatu /
produktu), ir gairių rengimą, jei bus
poreikis vertinti proceso kokybę.
Zydziunaite, 2010
16
• Projekto rezultatų kokybės prielaidos
Zydziunaite, 2010
17
• projekto rezultatų turi siekti konkrečias
kompetencijas turintys specialistai (praktikai) ir
mokslininkai, tyrėjai;
• projekto rezultatas traktuojamas kokybišku, jei jis
atitinka numatytus kokybės rodiklius, o atitikimą
jiems įrodo atlikto projekto rezultatų ir šių
rezultatų poveikio efektyvumo vertinimas;
• jei sukurti projekto rezultatai (produktai)
reikalauja papildomų mokymų vartotojams,
tuomet mokymams taip pat turi būti sukuriami
mokymų kokybės vertinimo kriterijai ir rodikliai,
kurie leistų įvertinti mokymų (kaip produkto)
kokybę ir jų poveikio vartotojams efektyvumą.
Zydziunaite, 2010
18
• Europos pabėgėlių fondo projektų
rezultatų bendrieji bruožai
Zydziunaite, 2010
19
• projekto rezultatai yra keturių kategorijų –
edukacijos, tyrimų / empirinės, rekreacijos ir
informacinių technologijų;
• kiekviena rezultato kategorija apima tris
charakteristikas – rezultato tipą, rezultato potipį
ir rezultato pobūdį;
• kiekvienoje kategorijoje ir konkrečiame tipe
galimi kiekybiniai ir kokybiniai rezultatai;
• kiekviename potipyje gali būti kelių pobūdžių
rezultatai yra kiekybiniai ir kokybiniai.
Zydziunaite, 2010
20
Projekto tikslai
Rezultato
kategorija X
Projekto veiklos
Projekto
rezultatai
Rezultato
kategorija Y
Rezultato
kategorija ....
Rezultato tipas X
1
Rezultato potipiai
....
Rezultato tipas X
2
Rezultato potipiai
....
Rezultato tipas Y
1
Rezultato potipiai
....
Rezultato tipas Y
2
Rezultato potipiai
....
Rezultato tipas
...
Rezultato potipiai
....
Rezultato tipas
...
Rezultato potipiai
....
Rezultato pobūdis
Zydziunaite, 2010
21
• Vertinant projekto rezultatus reikėtų
atsiminti, jog tas pats rezultatas gali būti
priskiriamas …
Zydziunaite, 2010
22
…kelioms kategorijoms
Edukacijos rezultatai
Tyrimų / empiriniai rezultatai
Projekto
rezultatas X
Rekreacijos rezultatai
Paramos rezultatai
IT rezultatai
Zydziunaite, 2010
23
…keliems tos pačios kategorijos tipams
Tipas: Mokymas
Tipas: Mokymasis
Tipas: Lavinimas
Edukacijos
kategorijos projekto
rezultatas X
Tipas: Rekreacija
Tipas: Tobulinimasis
Tipas: Konsultavimas
Tipas: Informavimas
Tipas: Pagalba
Tipas: Sklaida
Zydziunaite, 2010
24
…keliems potipiams toje pačioje kategorijoje
ir tame pačiame tipe
Kategorija:
Edukacija
Projekto
rezultatas
X
Kategorija:
Rekreacija
Tipas:
Mokymas
Potipis:
interakcinis
rezultatas
Tipas:
Sklaida
Potipis:
kognityvinis
rezultatas
Tipas:
Edukacija
Potipis: lavinimo
rezultatas
Potipis: papildomo
ugdymo rezultatas
Zydziunaite, 2010
25
…kelioms kategorijoms ir kiekvienoje iš jų
skirtingiems tipams bei pastarųjų potipiams
Edukacijos
kategorijos
projekto
rezultatas X
Potipis:
Interakcinis
rezultatas
Tipas:
Mokymas
Potipis:
Medžiaginis
rezultatas
Zydziunaite, 2010
26
• Projekto rezultatų vertimo tipo ir
metodo parinkimo logika pagal projekto
rezultato priskyrimą kategorijai, tipui ir
potipiui
Zydziunaite, 2010
27
Projekto
rezultatas X
Zydziunaite, 2010
Projekto
rezultato
KATEGORIJA
Projekto
rezultato TIPAS
Projekto rezultato
POTIPIS
Projekto
rezultato
vertinimo
KRITERIJAI
Projekto
rezultato
vertinimo
RODIKLIAI
Projekto
rezultato
vertinimo
TIPAS
Projekto
rezultato
vertinimo
METODAI
Projekto
rezultato
vertinimo
INSTRUMENTAI28
• PROJEKTO REZULTATO VERTINIMAS
Zydziunaite, 2010
29
Projekto rezultato kokybės kriterijų ir juos
sudarančių rodiklių / indikatorių apibrėžimas
Projekto X rezultato
kokybės
kriterijai
Projekto
X
rezultato
kriterijaus
apibūdinimas
Projekto
X
rezultato
kokybės
kriterijų
rodikliai / indikatoriai
Projekto
X
rezultato
kokybės
kriterijų
rodiklių / indikatorių
apibūdinimai
A KRITERIJUS
..............................................
.............................................
.............................................
.............................................
.............................................
.............................................
A 1 rodiklis
...........................................
...........................................
A 2 rodiklis
...........................................
...........................................
A 3 rodiklis
...........................................
...........................................
............................................
...........................................
B KRITERIJUS
Zydziunaite, 2010
............................................
30
Kiekybinių verčių kokybės kriterijams ir juos
sudarantiems rodikliams / indikatoriams numatymas
Projekto
rezultato X
kokybės
kriterijai
A
KRITERIJUS
B
KRITERIJUS
Projekto rezultato
X kokybės
kriterijaus bendroji
vertė
Pagrindimas
Projekto X
rezultato
kokybės
kriterijų
rodikliai /
indikatoriai
Projekto X rezultato
kokybės kriterijų
rodiklių /
indikatorių vertės
Pagrindimas
Min vertė ........
Max vertė .......
.....................
A 1 rodiklis
Min vertė .........
Max vertė ........
.........................
A 2 rodiklis
Min vertė .........
Max vertė ........
.........................
A 3 rodiklis
Min vertė .........
Max vertė ........
.........................
B 1 rodiklis
Min vertė .........
Max vertė ........
.........................
B 2 rodiklis
Kiekybiškai
nevertinamas
.........................
Min vertė ........
Max vertė .......
Zydziunaite, 2010
....................
31
Projekto rezultato kokybės rodikliams /
indikatoriams darančių faktorių apibrėžimas
Projekto rezultato X
kokybės kriterijai
Projekto rezultato X
kokybės rodikliai
/ indikatoriai
Faktoriai, darantys
įtaką rodikliams /
indikatoriams
Galima rodiklio /
indikatoriaus
vertės kaita
Pagrindimas
A KRITERIJUS
A 1 rodiklis
Tikslinė projekto grupė
+ 1,5 .... – 1,5
...........................
Socialiniai tinklai
+ 2,0 ... – 2,0
...........................
Projekto planavimas
+ 0,25 ... – 0,25
...........................
Projekto žmogiškųjų
išteklių vadyba
+ 1,0 ... – 1,0
...........................
B 1 rodiklis
Tyrimo duomenų
surinkimo laikas
+ 0,2 ... – 0,2
...........................
B 2 rodiklis
Surinktų tyrimo
duomenų kokybė
Kiekybiškai
nevertinamas
...........................
A 2 rodiklis
B KRITERIJUS
Zydziunaite, 2010
32
Projekto rezultato vertinimo tipų ir metodų
parinkimas
Projekto rezultato X
kokybės
kriterijai
Projekto rezultato X kokybės
rodikliai / indikatoriai
Vertinimo tipas
Vertinimo informacijos rinkimo
ir analizės metodai
A KRITERIJUS
A 1 rodiklis
Kiekybinis
Duomenų rinkimo: .....
Duomenų analizės: .......
Kiekybinis
Duomenų rinkimo: .....
Duomenų analizės: .......
Kiekybinis
Duomenų rinkimo: .....
Duomenų analizės: .......
Kiekybinis
Duomenų rinkimo: .....
Duomenų analizės: .......
B 1 rodiklis
Kiekybinis
Duomenų rinkimo: .....
Duomenų analizės: .......
B 2 rodiklis
Kokybinis
Duomenų rinkimo: .....
Duomenų analizės: .......
B3 rodiklis
Mišrus
Duomenų rinkimo: .....
Duomenų analizės: .......
A 2 rodiklis
B KRITERIJUS
Zydziunaite, 2010
33
Projekto rezultatų vertinimo instrumentų
sudarymas
• Kiekybiniame vertinimo tipe – uždaro tipo skalių
klausimynas, skalių vertinimo matrica,
struktūruoto interviu klausimai, struktūruoto
stebėjimo matrica.
• Kokybiniame vertinimo tipe – atviro tipo
klausimynas, pusiau struktūruoto ar
nestruktūruoto interviu klausimai, nestruktūruoto
ar pusiau struktūruoto stebėjimo matrica.
• Mišriajame vertinimo tipe derinami kiekybinių ir
kokybinių duomenų rinkimo metodai atskirose
vertinimo stadijose
Zydziunaite, 2010
34
• Projekto rezultatų vertinimo duomenų
interpretavimas
• Projekto rezultatų vertinimo išvadų
formulavimas
Zydziunaite, 2010
35
• Bendradarbiavimas su tyrėjais ir
mokslininkais vertinant projekto
rezultatus
Zydziunaite, 2010
36
• Atlikdami projekto rezultatų vertinimą –
nuo vertinimo tipo, metodų parinkimo,
vertinimo instrumento sudarymo iki
vertinimo duomenų rinkimo, analizės ir
interpretacijos - projekto veiklų vykdytojai
turi objektyviai įsivertinti savo turimą
kompetenciją tyrimų metodologijoje, ypač
– vertinimo srityje, ir jei ši kompetencija
įsivertinama nepalankiai, konsultuotis su
mokslininkais ir tyrėjais bei su jais
bendradarbiauti.
Zydziunaite, 2010
37
• PROJEKTO REZULTATO POVEIKIO
EFEKTYVUMAS
Zydziunaite, 2010
38
• Efektyvumo vertinimas turi kokybinę
prigimtį ir orientaciją į ateitį, proceso eigą,
o veiksmingumo matavimas remiasi
kiekybine prigimtimi ir orientuojasi į esamą
būklės vertinimą.
• Todėl, vertinant projekto rezultatų poveikio
efektyvumą, prasminga pirmenybę teikti
vertinimams projekto eigoje (tarpiniam
poveikio vertinimui) ir kokybinio vertinimo
tipui.
Zydziunaite, 2010
39
• Jei projekto komandai aktualus ir
veiksmingumo vertinimas, tuomet
esminis dėmesys turi būti skiriamas
projekto rezultato vertinimui.
• Pirmenybę teikiant kiekybiniam vertinimo
tipui, o jei bus vertinamas projekto
rezultatų poveikio veiksmingumas, tuomet
prasminga orientuotis į trumpalaikio
poveikio vertinimo strategiją.
Zydziunaite, 2010
40
• Vertinimo strategija siejama su projekto
rezultato poveikio tipu, o vertinimo tipas –
su projekto rezultato poveikio potipiu.
Zydziunaite, 2010
41
• Pasirenkant projekto rezultato poveikio vertinimo
tipą ir strategiją svarbu atsižvelgti į projekto
tikslinės grupės charakteristikas ir į projekto
konkretaus rezultato pobūdį (savybes,
charakteristikas).
• Būtent tikslinės grupės yra konkrečių rezultatų
vartotojos ir jų nuomonė, pasitenkinimas,
lūkesčiai bei nuostatos apie konkretų rezultatą
yra svarbūs rodikliai, vertinant projekto rezultato
poveikį
Zydziunaite, 2010
42
Projekto
rezultato
kategorija
Zydziunaite, 2010
Projekto
rezultato
tipas
Projekto
rezultato
potipis
Projekto
rezultato
poveikio tipas
Projekto
rezultato
poveikio
potipis
Projekto
tikslinė
grupė
Projekto
rezultato
pobūdis
Projekto rezultato vertinimo
strategija
(ilgalaikis poveikis,
trumpalaikis poveikis, tarpinis
poveikis)
Projekto rezultato
vertinimo tipas
(kiekybinis,
kokybinis, mišrus) 43
• Metodikoje projekto rezultato poveikio
efektyvumu vadinamas konkretaus
projekto rezultato poveikis tikslinei projekto
grupei, projekto komandai ir / ar kitiems
projekto rezultato vartotojams, kuris gali
būti vertinamas, taikant kokybinį, kokybinį
ar mišrų vertinimo tipą, besiremiantį
kokybiniais ir kiekybiniais tyrimo metodais
vertinimo informacijai rinkti ir analizuoti.
Zydziunaite, 2010
44
• PROJEKTO REZULTATO POVEIKIO
EFEKTYVUMO VERTINIMAS
Zydziunaite, 2010
45
• Kai vertiname projekto rezultato poveikio
efektyvumą, vertiname šio rezultato
praktinį naudojimą, praktiškumą ir
naudingumą konkrečiai tikslinei projekto
grupei.
Zydziunaite, 2010
46
• Praktiškas vartojimas reiškia, kad produkto
kūrėjai siekia konkrečių tikslų, kurių
realizavimą atspindi rezultato poveikio
efektyvumas ir veiksmingumas, t. y.
produkto vartotojų pasitenkinimas
(Nielsen, 1993; ISO, 1994).
Zydziunaite, 2010
47
Vertinant projekto rezultatų poveikio efektyvumą,
prasminga orientuotis į tokius kriterijus:
• vartotojų veiksmingas ir efektyvus numatytų tikslų
pasiekimas, praktiškai naudojant rezultatą /
produktą;
• nesudėtingas mokymasis, taikant / naudojant
konkretų projekto rezultatą;
• galimybės išvengti klaidų ir / ar jas ištaisyti,
praktiškai naudojant rezultatą;
• vartotojų pasitenkinimas, praktiškai naudojant
konkretų projekto rezultatą,
• konkretaus rezultato dermė su konkrečiu
kontekstu, kuriame jis taikomas / naudojamas
praktiškai.
Zydziunaite, 2010
48
• Kuriant ir / ar vykdant projektą turi būti
informacija apie…
Zydziunaite, 2010
49
…siekiamą projekto rezultatų poveikio
efektyvumą
Projekto
Projekto
Projekto Projekto
Projekto
Projekto
rezultarezultarezult
rezultato
rezultato
rezultato
to
to tipas
ato
poveikio
poveikio
poveikio
kategopotiefektyvu
efektyvum
efektyvu
rija
pis
mo
o lygmens
mo
lygmeapibūdilygmens
nys
nimas
ryšys su
projekto
tikslais ir
/ ar
uždaviniais
Zydziunaite, 2010
50
Projekto rezultatų poveikio efektyvumo
vertinimo strategija gali būti …
• pirminė (trumpalaikė, vienkartinė)
• tarpinė (vertinimas atliekamas,
mažiausiai, du kartus)
• ilgalaikė (daugkartinė),
Zydziunaite, 2010
51
Projekto
rezultato
kategorija
Projekto
rezultato
tipas
Projekto
rezultato
potipis
Projekto
rezultato
poveikio
efektyvu
mo
lygmenys
Projekto
rezultato
poveikio
efektyvu
mo
vertinimo
tipas
Projekto
rezultato
poveikio
efektyvumo
lygmens
vertinimo
metodai
Projekto
rezultato
poveikio
efektyvu
mo
vertinimo
strategija
Tikslinė
projekto
grupė
Duomenų
rinkimo metodas:
...
Duomenų
analizės
metodas: ...
Zydziunaite, 2010
52
… gautą projekto rezultatų poveikio
efektyvumą
Projekto
rezultato
kategorija
Projekto Projekto Siektas
projekto Gautas projekto rezultato
rezultato rezultato rezultato
poveikio poveikio
efektyvumo
tipas
potipis
efektyvumo lygmuo lygmuo
Zydziunaite, 2010
53
Prof. dr. Vilma Žydžiūnaitė
E-mail: [email protected]
Zydziunaite, 2010
54