Transcript prezentacją

21 XI 2012
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
WYMIAR PRAKT YCZNY
Interwencja publiczna?
Interwencja publiczna
Różne typy działań publicznych
realizowanych w ramach polityk
publicznych przybierające formę:
Polityka publiczna: Polityka naukowa,
polityka innowacyjna, etc.
 Programów;
 Projektów;
 Przedsięwzięć;
 Program: 5.,6., 7. Program Ramowy
UE, Program Operacyjny
Innowacyjna Gospodarka, etc.
 Projekty/Przedsięwzięcia: projekty
badawcze, projekty
infrastrukturalne, projekty
wspierające sieci współpracy etc.
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
WYMIAR PRAKT YCZNY
Monitoring?
Monitoring - cel
Bieżące i systematyczne gromadzenie
informacji (danych) w zakresie
rezultatów (rozumianych jako wyniki)
programów/projektów
dofinansowywanych m.in. z publicznych
środków.
Dane gromadzone w zakresie rezultatów
programów/projektów dostarczają
„wymiernych” informacji o wynikach
działalności badawczej, naukowej, etc. od
momentu rozpoczęcia realizacji
programu/projektu do jego zakończenia
(zgodnie z umową o dofinansowanie) –
„kształtują” obraz programu/projektu i
stanowią punkt wyjścia do analizy ich
otoczenia
Witamy w świecie ewaluacji
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
Ewaluacja?
Systematyczne badania społecznoekonomiczne informujące o jakości i
wartości działań publicznych.
[Patton 2008; Rossi et at. 1999, Weiss
1998]
Centralnym elementem ewaluacji jest
ocena – potrzebna do informowania o
jakości i wartości działań publicznych.
Ewaluacja to proces, w którym
niezbędnym narzędziem jest monitoring
(gromadzenie danych na każdym etapie
realizowanych działań)
WYMIAR PRAKT YCZNY
Ewaluacja - doświadczenia
międzynarodowe i polskie
ŚWIAT
EUROPA
USA/Kanada
(lata 60-te XX w.)
Niemcy/Wielka Brytania
inne kraje
(lata 80-te XX w.)
POLSKA
2004
Wstąpienie do UE
Obecnie: ponad 600 badań ewaluacyjnych w
ramach funduszy strukturalnych
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
WYMIAR PRAKT YCZNY
Fundusze strukturalne
UE
Kto i co ewaluuje
w Polsce –
w sektorze B+R ?
MRR/Instytucje Wdrażające
Programy Operacyjne (krajowe)
, np. PO IG
Urzędy Marszałkowskie
Regionalne Programy Operacyjne (16)
NCN
Programy badań podstawowych
Sektor B+R
Środki publiczne
(MNiSW)
NCBiR
Programy prac badawczych i
rozwojowych (o potencjalnym
wdrożeniu i komercjalizacji)
Środki w ramach
programów
międzynarodowych
KE
Programy Ramowe UE, Program CIP
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
WYMIAR PRAKT YCZNY
Ewaluacja
Kto i co może być poddawane ewaluacji?
Perspektyw podmiotowa
(badacze/organizacje)
Perspektywa
przedmiotowa
(polityki/programy
/ projekty
Pojedyncze
projekty
Programy
Polityki publiczne
(np. polityka
naukowa, polityka
innowacyjności)
CEL:
Wpływ na formułowanie i prowadzenie polityki w zakresie
wspierania innowacyjności i nauki
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
Orientacja badań ewaluacyjnych na:
WYMIAR PRAKT YCZNY
Ewaluacja w OPI
Perspektywa przedmiotowa/programy
5.6.7 Program Ramowy UE
Ewaluacja podsumowująca –
analiza i ocena rzeczywistych efektów
(rezultatów/wyników)
projektów Programów Ramowych UE
Badanie ewaluacyjne rezultatów
zakończonych projektów
Programów Ramowych UE z udziałem
polskich zespołów badawczych
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
Skąd czerpaliśmy informacje o
efektach projektów Programów
Ramowych?
Monitoring
(=baza Projektów Programów
Ramowych UE –
E-CORDA
Ewaluacja badanie na
beneficjentach Programów
Ramowych UE
WYMIAR PRAKT YCZNY
Baza E-CORDA:
1. podstawowe informacje o beneficjentach
(instytucjach, które otrzymały dofinansowanie),
wysokości dofinansowania, ścieżce
dofinansowanie, etc.;
2. brak informacji (danych) o rzeczywistych
efektach projektów
bne
zgromadzenie informacji o efektach beneficjenci Programów Ramowych,
czyli BADANIE EWALUACYJNE
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
WYMIAR PRAKT YCZNY
Badanie ewaluacyjne – jak to zrobić?
Cel
Ocena rzeczywistych efektów projektów
Programów Ramowych UE z udziałem polskich
zespołów badawczych (koordynatorów i
uczestników międzynarodowych konsorcjów)
3 kryteria ewaluacyjne (oceny):
Metodologia
Skuteczność – stopień realizacji zakładanych
celów i rezultatów, skuteczność instytucji i
podjętych działań;
Użyteczność – ocena rzeczywistych efektów
(planowanych i nieplanowanych) w kontekście
bieżącej sytuacji;
Trwałość– ciągłość efektów w perspektywie
krótko i długookresowej.
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
Wielkość próby badawczej
WYMIAR PRAKT YCZNY
N= 300 podmiotów realizujących projekty ramowe
(koordynowane i będące częścią konsorcjum – selekcja na
podstawie wskaźnika pozycji instytucji w konsorcjum)
Badania ilościowe:
CATI – telefoniczny wywiad ankieterski wg kwestionariusza;
Narzędzia i techniki wykorzystane
w badaniu
Badania jakościowe:
Analiza desk research (analiza dokumentów i przegląd
literatury przedmiotu);
IDI – pogłębione wywiady indywidualne (beneficjenci, KPK,
RPK);
Panel ekspertów (MNiSW, NCBiR, NCN, KPK, KRAB,
beneficjenci);
Studia przypadków (case-studies): Warszawa, Poznań,
Kraków
ŚWIAT EWALUACJI
WYMIAR TEORETYCZNY
Rozkład próby badawczej
pod względem Programu Ramowego
pod względem roli instytucji w projekcie
pod względem rodzaju beneficjenta oraz
roli instytucji w projekcie
WYMIAR PRAKT YCZNY
MOTYWACJA
MOTYWACJA UCZESTNICTWA
W PROJEKTACH
PROGRAMÓW RAMOWYCH
83%
81%
79%
76%
73%
59%
35%
22%
20%
50%
z potrzeby rozwoju naukowego osób
zaangażowanych w projekt
od instytucji partnerskich\powiązanych
z chęci zdobycia prestiżu
z kontynuacji wcześniej zrealizowanych
projektów
z przyjętej przez instytucję wewnętrznej
strategii prac B+R
z potrzeby unowocześnienia
wyposażenia badawczo-technicznego
z innych źródeł
57%
0%
z możliwości otrzymania
dofinansowania badań
ze specjalizacji badawczej instytucji
100%
z zapotrzebowania prywatnych
odbiorców na wynik projektu
M O T Y W A C J A D O U C Z E S T N I C T W A :
W Y N I K I I N N Y C H B A D A Ń
E W A L U A C Y J N Y C H
Norwegia:
- dostęp do sieci naukowych;
- dostęp do wiedzy eksperckiej;
- do wiedzy określanej jako „doskonałość naukowa”;
- dostęp do funduszy na finansowanie badań.
Wielka Brytania:
- dostęp do funduszy na finansowanie badań;
- chęć rozwoju /tworzenia nowych sieci współpracy i
kontaktów naukowych;
- rozwój wiedzy i umiejętności;
- chęć rozwiązania konkretnych problemów
badawczych.
Dania:
- dostęp do funduszy na finansowanie badań;
- chęć rozwoju /tworzenia nowych sieci współpracy i
kontaktów naukowych;
- stworzenie nowych narzędzi, metod i technik
badawczych;
- rozwój naukowy.
SKUTECZNOŚĆ
OSIĄGNIĘTE EFEKTY
(PLANOWANE I
NIEPLANOWANE)
SKUTECZNOŚĆ PLANOWANIA
I OSIĄGANIA WYNIKÓW
prezentacja wyników na konferencji
95% wykorzystanie wyników w dydaktyce
nawiązanie nowych kontaktów
93% prezentacja wyników na konferencji
rozwój naukowy
92%
publikacja wyników
90%
64%
wykorzystanie wyników w dydaktyce
rozwój wyposażenia bad.-tech.
61%
wdrożenie wyników prac B+R
11%
prawo ochronne
planowano i osiągnięto
95%
97%
nawiązanie nowych kontaktów
85%
rozwój wyposażenia bad.-tech.
87%
97%
95%
96%
prawo ochronne
78%
wdrożenie wyników prac B+R
77%
84%
94%
63%
patent
2%
0%
98%
rozwój naukowy
8%
sprzedaż licencji
99%
98%
publikacja wyników
50%
patent
50%
25%
sprzedaż licencji
50%
nie planowano, ale osiągnięto
99%
62%
100%
Skuteczność osiągania efektów
0%
50%
71%
100%
Skuteczność planowania efektów
SKUTECZNOŚĆ
WYKORZYSTANE SZANSE
Networking: kontakty częściej naukowe
(97%), rzadziej biznesowe (29%);
Rozwój indywidualnych karier naukowych
komplementarnym efektem projektów PR:
publikacje naukowe (wyróżnione w JRC o
IF>0 - 68% odpowiedzi) i prezentacje na
konferencjach (zagraniczne 96%, krajowe
69%);
Podniesienie prestiżu instytucji poprzez
rozwój naukowy (w kraju (49%), za granicą
(32%))
NIEWYKORZYSTANE
KIERUNKI
Wdrożenia:
- najczęściej wskazywane jako efekty
planowany lecz nieosiągnięty;
- najczęściej osiągany efekt przez Instytuty
Badawcze (profil jednostki);
Niska efektywność projektów w zakresie praw
własności intelektualnej: (patent 12%, prawo
ochronne 8%, sprzedaż licencji 5%);
Duże zróżnicowanie zainteresowania
wyposażeniem badawczo-technicznym między
beneficjentami: Instytuty PAN (70%), zaś
Instytuty Badawcze (45%), szkoły wyższe (57%)
UŻYTECZNOŚĆ
OBSZARY ODDZIAŁYWANIA
PROJEKTÓW PROGRAMÓW
RAMOWYCH
ZESTAWIENIE
MIĘDZYNARODOWE
podniesienie kwalifikacji i wiedzy personelu
4.1
poprawa wizerunku instytucji
3.8
zwiększenie współpracy z instytucjami naukowymi
3.7
wzrost innowacyjności
3.0
wzrost konkurencyjności instytucji
3.0
wzrost liczby cytowań
2.9
wzrost liczby doktoratów, habilitacji
2.2
zwiększenie wydatków na działalność B+R
2.2
poprawa zarządzania strategicznego
2.0
zwiększenie współpracy z przedsiębiorstwami
1.8
wzrost zatrudnienia
Wielka Brytania:
- wzmocnienie sieci współpracy naukowej;
- umocnienie zasobu wiedzy w nowych obszarach
badawczych;
- umocnienie zasobu wiedzy w obszarach
badawczych będących w kompetencjach jednostki;
Dania:
- wzmocnienie sieci współpracy naukowej;
- umocnienie zasobu wiedzy naukowej instytucji;
- rozszerzenie możliwości naukowych i
technologicznych instytucji;
1.5
wzrost dochodów z wdrożenia wyników
0.7
powstanie firm typu spin–off/out
0.3
0.0
Norwegia:
- wzmocnienie sieci współpracy naukowej (w
długim horyzoncie czasowym);
- wzmocnienie możliwości naukowych instytucji;
- umocnienie zasobu wiedzy w nowych obszarach
badawczych;
5.0
Skala ocen: 0 = brak wpływu; 5 = bardzo duży wpływ
UŻYTECZNOŚĆ
KORZYŚCI Z
UCZESTNICTWA W PR
BRAK ODNOTOWANEGO
WPŁYWU
Najwyższa użyteczność projektów:
podniesienie kwalifikacji i wiedzy personelu;
Niewielki wpływ na efekty mnożnikowe:
- PR nie przyczyniają się do komercjalizacji
technologii;
- niska opłacalność wdrożeń;
Umocnienie pozycji: wzrost innowacyjności
(projekty badawcze); wizerunek organizacji
(projekty nienaukowe);
Kontakty częstsze z sektorem naukowym
niż z sektorem przedsiębiorstw; decydujący
profil jednostki;
Networking dźwignią do uczestnictwa w
kolejnych projektach.
Efekty mnożnikowe ujawniły znaczenie
efektów twardych (patenty oraz prawa
ochronne);
Efekty naukowe ocenione przez
beneficjentów jako najistotniejsze, ale
efekt uznany został za niewystarczający
(kariery naukowe).
TRWAŁOŚĆ
OCENA CIĄGŁOŚCI
WYNIKÓW PROJEKTÓW
Typ instytucji
objętej
badaniem
Status
instytucji w
projekcie
szkoły wyższe
1.9
instytuty PAN
2.2
3.4
instytuty badawcze
2.2
3.1
członek konsorcjum
2.0
3.0
koordynator
razem
2.6
2.0
3.1
3.4
3.1
3.4
4.0
4.2
3.0
3.9
4.2
3.5
3.9
4.0
3.3
3.5
3.3
3.8
wzrost zatrudnienia
4.0
4.2
3.9
wykorzystanie wyposażenia badawczo-technicznego
zastosowanie wyników w praktyce
nawiązanie kontaktów naukowych i biznesowych
4.3
wykorzystanie wiedzy naukowej
4.0
1 = przewaga wyników krótkofalowych; 5 = przewaga wyników długofalowych.
TRWAŁOŚĆ
AKTYWNOŚĆ PODEJMOWANA
W RAMACH KONTYNUACJI
dalsze prace badawczorozwojowe
95%
CEL KONTYNUOWANYCH
DZIAŁAŃ
pogłębianie współpracy z
jednostkami naukowymi
3.5
publikacje
91%
podnoszenie prestiżu instytucji na
arenie międzynarodowej
3.3
udział w konferencjach
krajowych i zagranicznych
91%
podnoszenie prestiżu instytucji w
kraju
3.3
rozwój kariery naukowej zespołu
badawczego
3.3
kontynuowanie współpracy z
partnerami projektu
83%
unowocześnianie wyposażenia
badawczo-technicznego
43%
szkolenia zespołu badawczego
42%
udział zespołu badawczego w
naukowym stażu zagranicznym
30%
0%
50%
utrzymanie wyposażenia
badawczo-technicznego
2.7
wdrożenie wyników poprzedniego
projektu
2.7
pogłębianie współpracy z
podmiotami gospodarczymi
2.6
utrzymanie płynności finansowej
instytucji
100%
2.2
0.0
2.0
4.0
Skala ocen: 1 = zdecydowanie nie; 2 = raczej nie; 3 = raczej ta; 4 = zdecydowanie tak
TRWAŁOŚĆ
EFEKTY TRWAŁE
EFEKTY KRÓTKOTRWAŁE
Utworzone sieci współpracy najbardziej
długofalowym i trwałym efektem PR;
Powstałe miejsca pracy oceniane jako efekt
krótkofalowy, ale:
- 20% instytucji doświadczyło likwidacji
miejsca pracy (szkoły wyższe oraz istotne z
punktu widzenia projektu jednostki);
- ewolucja podejścia do realizacji projektu;
- PR jako argument konkurencyjności
miejsca pracy dla młodych badaczy;
Wyniki innych projektów jako motywacja do
podejmowania kolejnych działań
projektowych; kontynuacja badań w
kolejnych projektach (89%).
Zasięg przestrzenny wyników projektów
coraz częściej międzynarodowy;
Efekt synergii: całokształt działalności
naukowej decyduje o sukcesie projektu PR;
WNIOSKI OGÓLNE
•
Skuteczność, użyteczność, trwałość rosną w czasie;
•
Przewaga wskaźników produktu;
•
Wyniki zbieżne z wynikami ewaluacji w innych krajach;
•
Kontynuacja działań na poziomie krajowym;
•
Umiejętność wykorzystania projektów ramowych do realizacji celów jednostki,
ale efekty „gospodarcze” są niezadowalające;
•
Kontynuacja (ciągłość) badań wpływa na trwałość efektów;
•
PR pozwalają na podnoszenie standardu instytucji w krajowym systemie oceny;
CO DALEJ?
•
Gospodarczy wymiar PR – ewaluacja polskich przedsiębiorstw;
•
Porównanie międzynarodowe;
•
Kontekst strategicznych kierunków badawczych- ujęcie tematyczne;
•
Perspektywa długofalowa: bieżące gromadzenie danych o efektach – powiązanie z
Ankietą Jednostki;
•
Publikacja
•
Kolejne badania ewaluacyjne (w ramach PR?)
[email protected]
[email protected]
pokój 11
pokój 2
budynek 186
21 XI 2012