Transcript Ewaluacja w projekcie mobilności instytucjonalnej - pokl

Fundacja Rozwoju Systemu Edukacji
Program Operacyjny
Kapitał Ludzki
Ewaluacja w projekcie mobilności instytucjonalnej
14 kwietnia 2014
Projekt współfinansowany przez Unię Europejską z Europejskiego Funduszu Społecznego
Ewaluacja w projekcie
Ewaluacja – jest integralną częścią projektu.
Celem ewaluacji jest określenie skuteczności i efektywności
ewaluowanego projektu – w odniesieniu do celów.
Dzięki ewaluacji:
- mierzymy postępy w realizacji projektu
- planujemy zmiany
- efektywniej wykorzystujemy środki finansowe
- poprawiamy zarządzanie
- dostosowujemy plany upowszechniania rezultatów
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie
Ewaluacja jest narzędziem pomagającym w:
• zaplanowaniu projektu
• monitorowaniu projektu
• identyfikowaniu słabych i mocnych stron projektu
• opracowaniu raportów (zwłaszcza końcowego)
• wykorzystaniu rezultatów
• planowaniu przyszłych projektów
• planowaniu strategii upowszechniania wyników
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie
Trafność – czy przyjęte cele projektu odpowiadają
rzeczywistym potrzebom i oczekiwaniom uczestnikom
Efektywność – czy partnerzy wykonują zadania zgodnie z ich
rolą i kompetencjami, ocena działań w odniesieniu do nakładu
pracy i środków
Skuteczność – czy zostały osiągnięte zakładane cele projektu,
rola partnerów w osiąganiu celów
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie
Oddziaływanie/wpływ – czy realizacja projektu będzie
oddziaływać na otoczenie i wywoływać w nim zmiany
Trwałość efektów – czy współpraca partnerów będzie
kontynuowana po zakończeniu projektu, czy udział w projekcie
przyniesie uczestnikom rezultat w postaci trwałej zmiany
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie
Etapy procesu ewaluacyjnego:
•
•
•
•
•
Planowanie
Projektowanie
Realizacja
Raportowanie
Wykorzystanie wyników
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie - planowanie
Wniosek o dofinansowanie
Sekcja F.6. Ewaluacja/Ocena projektu
„Ewaluacja będzie prowadzona systematycznie i będzie polegała na
zbieraniu i analizowaniu informacji na temat wdrażania projektu. (…)
Ewaluacja będzie przebiegać na poziomie uczestnika projektu i na poziomie
projektu jako całości. Dzięki temu otrzymamy ocenę postępów z
prowadzonych działań oraz porównamy je z założonym planem i celami.
(…) Ponadto wnioski z realizacji całego projektu (…) zostaną wykorzystane
w planowaniu przyszłych projektów europejskich. (…) Narzędzia (…) to:
analiza dokumentów, wywiady indywidualne, ankieta, obserwacja, wywiad
kwestionariuszowy, test językowy, test kompetencji ICT”
Fragment z wniosku
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie - planowanie
Wniosek o dofinansowanie
Sekcja F.6. Ewaluacja/Ocena projektu
(…)„ Narzędzia ewaluacji to w zależności od obszaru i celu: wywiad,
ankieta, obserwacja uczestnicząca, karta monitoringu, analiza
dokumentacji. Ocena projektu i kontrola zgodności realizacji programu z
założeniami projektu będzie dokonywana na bieżąco, przez wyłonionego
lidera grupy (…). Oceny zgodności założeń projektu z realizacją oraz
ewaluacji projektu dokona zarząd (…). Po zakończeniu szkolenia uczestnicy
wypełnią ankiety ewaluacyjne, które będą szczegółowo analizowane z
przedstawicielami organizacji przyjmującej. (…) Ewaluacja na poziomie
projektu będzie dotyczyć następujących obszarów: harmonogram działań,
zgodność wydatków z zaplanowanym budżetem, stopień realizacji celów,
dokumentacja projektu. (…)”
Fragment z wniosku
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie - projektowanie
Projektowanie ewaluacji:
• zdefiniowanie celów ewaluacji (po co to robimy?)
• identyfikacja zasobów (czasowych, ludzkich)
• określenie przedmiotu ewaluacji (jakie obszary?)
• sformułowanie listy pytań badawczych
• określenie kryteriów ewaluacji
• dobór metod badawczych
• harmonogram
• zaprojektowanie raportu
Konceptualizacja badania: sprecyzowanie oczekiwań, postawienie
szczegółowych pytań ewaluacyjnych, określenie wymagań i podział zadań
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie - realizacja
Realizacja ewaluacji:
• zbieranie danych (dostępne dokumenty, badania
ankietowe, analiza potrzeb, dokumenty programowe)
• analiza – interpretacja danych, zestawienie i porównanie
danych
• ocena – analiza stopnia osiągnięcia celów, analiza kosztówkorzyści
• sformułowanie wniosków, rekomendacji
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie - raportowanie
Raport z ewaluacji i wykorzystanie wyników:
•
•
•
•
•
jakość raportu
sposoby rozpowszechniania wyników ewaluacji (raportu)
forma raportu
grupy odbiorców
wykorzystanie wyników do planowania przyszłych działań
(projektów ponadnarodowych)
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie
Osiągnięcie zamierzonych celów
Jednym z celów ewaluacji jest zbadanie czy zostały osiągnięte
cele projektu i w jakim zakresie.
Ewaluacja pozwala określić czy cele projektu są zgodne z
celami projektu systemowego.
działania – produkty – rezultaty - cele projektu –
cele projektu systemowego
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja szkolenia
Przykładowe pytania umieszczane w ankietach:
-
w jakim stopniu program szkolenia odpowiadał potrzebom uczestników?
czy szkolenie prowadziła wykwalifikowana kadra?
czy podczas szkolenia wykorzystywane były efektywne metody szkoleniowe?
czy szkolenie przeprowadzono w odpowiednim miejscu?
czy plan zajęć odpowiadał uczestnikom projektu?
czy program szkolenia był dobrze koordynowany?
jak poprawić efektywność programu szkoleniowego w kolejnych projektach?
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja szkolenia
Celem ewaluacji szkolenia jest zbadanie:
-
czy efektywnie wykorzystano środki na realizację programu szkolenia
jaki jest poziom satysfakcji uczestników szkolenia
w jakim stopniu program realizował cele projektu systemowego
w jakim stopniu uczestnicy podnieśli kompetencje zawodowe
i poprawili umiejętności językowe (cele projektu)
- jak oceniono organizację szkolenia
- jak uczestnicy planują wykorzystać zdobytą wiedzę i doświadczenia
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl
Ewaluacja w projekcie
Monitoring ≠ Ewaluacja
Monitoring jest ciągłym procesem systematycznego zbierania i
analizowania danych na temat prawidłowości realizacji
projektu.
Monitoring służy do zbierania informacji na temat:
- aktualnego stanu i przebiegu realizacji projektu,
- postępu w realizacji planu merytorycznego,
- wykorzystania środków finansowych,
- przygotowania prognozy na najbliższy okres.
Fundacja Rozwoju Systemu Edukacji | www.frse.org.pl