Transcript Do czego służy EWALUACJA - Fizyka wobec wyzwań XXI wieku

Do czego służy EWALUACJA ?
Jerzy Radziwiłł
Wydział Fizyki UW, 21 marca 2011
Projekt „Fizyka wobec wyzwań XXI wieku” współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego
Spis treści
1.
2.
3.
4.
5.
6.
7.
8.
9.
Definicja
Projekty i programy
Planowanie projektu lub programu
Struktura logiczna projektu lub programu
Do czego służy ewaluacja ?
Do czego nie służy ewaluacja ?
Rodzaje ewaluacji
Kryteria ewaluacyjne
Ewaluacja projektu „Fizyka wobec wyzwań XXI
wieku”
1. Definicja
 Ewaluacja to systematyczne badanie wartości
albo cech konkretnego programu, planu,
działania bądź obiektu z punktu widzenia
przyjętych kryteriów, w celu jego usprawnienia,
rozwoju lub lepszego zrozumienia.
Ewaluacja jest częścią procesu podejmowania
decyzji. Obejmuje wydawanie opinii o wartości
działania poprzez systematyczne, jawne
zbieranie i analizowanie informacji o nim
w odniesieniu do znanych celów, kryteriów
i wartości.
Definicja – c.d.
W odniesieniu do funduszy unijnych:
 Ewaluacja - to ocena wartości interwencji z
zastosowaniem określonych kryteriów tej
oceny podejmowana w celu określenia
efektywności interwencji, oszacowania w
odniesieniu do celów,
a także analizy wpływu na specyficzne
problemy strukturalne. *
* Rozporządzenie Rady Unii Europejskiej z dn. 21.06.1999 r.
wprowadzające ogólne przepisy dotyczące funduszy
strukturalnych
2. Projekty i programy
 PPOJEKT: przedsięwzięcie, które ma określony
cel, początek i koniec
 PROGRAM: przedsięwzięcie na większą skalę,
które ma określony cel
Rozróżnienie między projektem a programem nie jest
jednoznaczne (m.in. dlatego, że program też może mieć
początek i koniec).
Program zwykle składa się z wielu projektów, które mogą
być realizowane przez różnych wykonawców.
3. Planowanie projektu lub programu
Metoda matrycy logicznej (LFA)
1. ANALIZA INTERESARIUSZY: identyfikacja
potencjalnych głównych interesariuszy; ocena
ich możliwości.
2. ANALIZA PROBLEMU: identyfikacja głównych
problemów, ograniczeń i szans; ustalenie
związków przyczynowo-skutkowych.
Planowanie projektu lub programu - c.d.
3. ANALIZA CELÓW: budowanie rozwiązań
zidentyfikowanych problemów; identyfikacja
powiązań między stosowanymi środkami
a osiąganymi efektami
4. ANALIZA STRATEGII: identyfikacja różnych
strategii prowadzących do rozwiązania
problemu; wybór najlepszej strategii.
4. Struktura logiczna projektu lub
programu
Metoda matrycy logicznej (LFA):
1. Zidentyfikowane problemy
2. Zastosowane środki i nakłady
3. Działania i ich produkty
4. Rezultaty
5. Cele szczegółowe
6. Cel główny
5. Do czego służy ewaluacja ?
 EWALUACJA to proces, który służy
optymalizacji całego projektu lub programu
(począwszy od planowania) ze względu na
określone kryteria. Składa się z badania, analizy
oraz sformułowania wniosków i rekomendacji.
EWALUACJA służy
do tego żeby było lepiej !
6. Do czego nie służy ewaluacja ?
 MONITROWANIE to systematyczne, szczegółowe
śledzenie przebiegu i efektów realizacji projektu
lub programu pod kątem ich zgodności z
przyjętym planem.
 KONTROLA to sprawdzenie całości lub
wybranych elementów projektu lub programu pod
kątem ich zgodności z przyjętymi założeniami i
obowiązującymi zasadami.
Do czego nie służy ewaluacja - c.d.
 AUDYT to systematyczna ocena sposobu
realizacji i kondycji projektu lub programu
przeprowadzona przede wszystkim na podstawie
badania i analizy systemów, procesów,
mechanizmów kontrolnych i sprawozdań.
 ANALIZA KOSZTÓW I KORZYŚCI to
porównanie kosztów wykorzystanych zasobów
plus wszelkich innych kosztów jakie wynikają z
działalności z wartością uzyskanych korzyści
finansowych i pozafinansowych.
Do czego nie służy ewaluacja - c.d.
 OCENA INWESTYCJI to analiza przyszłej
dochodowości nakładów kapitałowych jako
pomoc w skutecznym zarządzaniu.
 itd. …
Ewaluacja jest pojęciem szerszym. Może
wykorzystywać wymienione wyżej i inne
podobne metody oraz uzyskane na ich
podstawie ustalenia, ale służy innym celom.
7. Rodzaje ewaluacji
 Ewaluacja POPRZEDZAJĄCA (ex-ante)
 Ewaluacja PRZEJŚCIOWA (mid term)
 Ewaluacja BIEŻĄCA (on-going)
 Ewaluacja KOŃCOWA (ex-post)
 Ewaluacja TEAMTYCZNA (thematic)
8. Kryteria ewaluacyjne
• Trafność (relevance, adequacy):
Czy to w ogóle należało robić ?
• Efektywność (efficiency):
Czy można było zrobić to samo mniejszym
kosztem lub zrobić więcej przy tych samych
kosztach? (Stosunek korzyści do kosztów).
• Skuteczność (effectiveness):
Czy wykonanie zaplanowanych działań
doprowadziło do osiągnięcia zamierzonego
celu?
Kryteria ewaluacyjne – c.d.
• Użyteczność (utility):
Czy efekty projektu są (do czegokolwiek)
przydatne? (Inaczej mówiąc: na co to komu?)
• Oddziaływanie (impact):
Czy to ma dalsze konsekwencje (pozytywne lub
negatywne)? Czy wartość wszystkich efektów
jest większa niż wartość samych bezpośrednich
produktów?
• Trwałość efektów (sustainability):
Czy efekty będą miały znaczenie również w
przyszłości (po zakończeniu projektu lub
programu)?
9. Ewaluacja projektu
„Fizyka wobec wyzwań XXI wieku”
DZIAŁANIA W RAMACH PROJEKTU:
1. Zarządzanie Projektem
2. Promocja i rekrutacja
3. Kurs „Ochrona radiologiczna i radiometria w
medycynie”
4. Otwarcie specjalności „Neuroinformatyka” (NI)
i „Fizyka medyczna” (FM)
5. Otwarcie specjalności „Optyka okularowa” (OO)
6. Otwarcie specjalności „Biofizyka molekularna” (BM)
i „Projektowanie molekularne i bioinformatyka” (PM)
Ewaluacja projektu
„Fizyka wobec wyzwań XXI wieku” - c.d.
DZIAŁANIA W RAMACH PROJEKTU - c.d.:
7. Organizacja zajęć w języku angielskim na kierunku
Fizyka
8. Wizyty studyjne
9. Staże zagraniczne
10. Ewaluacja
11. Konferencja podsumowująca
Ewaluacja projektu
„Fizyka wobec wyzwań XXI wieku” - c.d.
BADANIA NA POTRZEBY EWALUACJI DOTYCZĄCE
KIERUNKU „ZASTOSOWANIA FIZYKI W BIOLOGII I
MEDYCYNIE”
• Badanie CAWI (z użyciem poczty elektronicznej)
postaw i motywacji studentów na początku studiów.
• Kontakt bieżący (bezpośredni, telefoniczny i pocztą
elektroniczną) ze studentami, pracownikami biura
i kadrą projektu.
• Indywidualne wywiady pogłębione (IDI) z pracownikami
biura projektu, asystentami Kierownika Projektu,
Kierownikiem Projektu i wykładowcami.
Ewaluacja projektu
„Fizyka wobec wyzwań XXI wieku” - c.d.
BADANIA NA POTRZEBY EWALUACJI (…) - c.d.
• Wywiady grupowe ze studentami kierunku
(co semestr).
• Analiza wyników ankiet USOS dotyczących satysfakcji
z zajęć.
• Badanie ankietowe wśród maturzystów
(w 2011 i w 2014 roku)
• Badanie CAWI (z użyciem poczty elektronicznej)
postaw i motywacji studentów na końcu studiów.
Ewaluacja projektu
„Fizyka wobec wyzwań XXI wieku” - c.d.
Kontakt w sprawach dotyczących ewaluacji:
• Jerzy Radziwiłł, Kierownik Badania, tel.: 602-325-505,
poczta [email protected]
• Luiza Wiślicz-Iwańczyk, Specjalista ds. Promocji,
Informacji i Monitoringu, Hoża 69, p. 22,
tel.: (22) 55-32-393, poczta [email protected]
• Adam Babiński, Kierownik Projektu, Hoża 69, p. 322,
tel.: (22) 55-32-374, poczta [email protected]
• Strona www projektu: http://fizykaxxi.fuw.edu.pl oraz
http://fizykaxxi.fuw.edu.pl/ewaluacja
DZIĘKUJĘ ZA UWAGĘ
Studentów kierunku „Zastosowania Fizyki
w Biologii i w Medycynie” zapraszam teraz na
wywiad grupowy dotyczący wszelkich kwestii
związanych ze studiami na tym kierunku.