Transcript Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion: [email protected] EGO: www.evaluation.pl Jaki jest związek procesu wyboru wykonawców z wykorzystaniem wyników badań Jakość polityk publicznych (trafność podejmowanych decyzji) Poziom wykorzystania badań (w.

Realizacja badań ewaluacyjnych w świetle
Prawa Zamówień Publicznych
Bartosz Ledzion: [email protected]
EGO: www.evaluation.pl
Jaki jest związek procesu wyboru wykonawców z
wykorzystaniem wyników badań
Jakość polityk
publicznych
(trafność
podejmowanych
decyzji)
Poziom
wykorzystania badań
(w sensie
poznawczym,
użytkowym)
Jakość badań
(wiarygodność,
dowód
empiryczny)
Sprawność
procedury
selekcji i
wyłaniania
wykonawców
Procedura zapewnia wybór
zespołu badawczego
posiadającego kompetencje
w zakresie danego badania
3
Jakie są uwarunkowania prawne zlecania
badań ewaluacyjnych
>
Przegląd orzecznictwa (KIO, TS) pozwala stwierdzić, że w judykaturze dopuszcza się
stosowanie niemierzalnych (niewymiernych) kryteriów pod warunkiem ich
zobiektywizowania
>
Argumentu prawne:
> W orzeczeniach Krajowej Izby Odwoławczej
»
Orzeczenie KIO 1280/09 „prawem zamawiającego jest ustalanie takich kryteriów
wyboru oferty najkorzystniejszej, które jego zdaniem , w najlepszy sposób pozwolą
wybrać urządzenie najlepiej odpowiadające jego wymaganiom ...”
»
Orzeczenie KIO 1804/09 „kryterium jakość realizowanej usługi jest dopuszczalne
w świetle art. 91 ust. 2 ustawy PZP
»
Orzeczenie KIO 1168/10 odnosząca się do kryterium „Koncepcja wykonania usługi”
Izba wyraziła pogląd iż „Wskazane w przepisie art. 91 ust. 2 Pzp kryteria oceny
ofert są kryteriami przykładowymi, ... , zaś poza zakazem stosowania kryteriów ,
które mogą dotyczyć właściwości wykonawcy, brak jest innych zakazów”.
> W wyroku Trybunału Sprawiedliwości UE( C-448/01) według którego zamawiający
dysponuje swobodą określania kryteriów pod warunkiem, że nie przyznają
zamawiającemu prawa arbitralnego wyboru oferty
4
Jakie są uwarunkowania prawne zlecania
badań ewaluacyjnych
> Polska praktyka oceny ofert opiera się na 1) niedopasowaniu
prawa, jak i jego 2) wypaczonej interpretacji, co przejawia się w
szczególności w:
> 1) zakazie porównywania ofert wbrew logice faktycznego
postępowania, zmuszając oceniających do przyjęcia nieformalnego
punktu odniesienia , co prowadzi do oceny swobodnej, nieobiektywnej
opartej na niewyartykułowanych nieformalnych miarach ... (zależnych
od różnych kompetencji oceniających)
> 2) sposobie formułowania kryteriów merytorycznych, często w sposób
bardzo ustrukturyzowany, pozbawiając je mocy rzeczywistego
rozstrzygania o wartości proponowanej koncepcji badawczej oraz
metodologii. Takie podejście doprowadza do automatyzacji i
uniwersalizacji tworzenia koncepcji badawczych ...
5
Jakie są uwarunkowania prawne zlecania
badań ewaluacyjnych
> Jak wygląda proces logicznej oceny ...
> porównanie w czasie - pozwala ocenić postęp lub regres (zmianę) brak zastosowania w PZP
> porównanie do wzorca - nasz przedmiot oceny przyrównujemy do
ideału i mierzymy na ile odbiega lub jest bliski ideału – w przypadku
PZP wymagałoby ustalenia i bardzo szczegółowego zdefiniowania
jednego, modelowego podejścia do danego problemu badawczego
> porównanie do innych przedmiotów z ocenianej grupy – jest to ocena
relatywna, gdyż zakłada, że nie ma jednego słusznego wzorca, jednej
poprawnej odpowiedzi, ocena danego przedmiotu jest dokonywana w
ramach grupy, porównujemy rzeczy między sobą, wynik zależy więc od
składu grupy poddawanej ocenie, od tego jakie przedmioty
porównujemy ze sobą - wydaje się, że jest to adekwatny sposób oceny
ofert
6
Jak zlecamy badania w Polsce – jakie
czynniki faktycznie wpływają na wybór
wykonawcy
> W przypadku badań ewaluacyjnych mamy do czynienia z pozornie
wysokim udziałem kryteriów merytorycznych, jednak ze względu na
błędne stosowanie ich faktyczny udział w wyborze jest niższy i dominuje
cena ...
7
Źródło: Analiza zamówień publicznych w kontekście badań dla sektora publicznego, PTE, czerwiec 2011
Jak zlecamy badania w Polsce – jakie
czynniki faktycznie wpływają na wybór
wykonawcy
> Kluczowe czynniki wpływające na rzeczywiste zmniejszenie
udziału kryteriów merytorycznych w stosunku do kryterium
cenowego:
> wysoki udział (od 6 do 20 na ok. 50 pkt jakościowych) kryteriów odnoszących się do
organizacji procesu badawczego, za które w praktyce oferenci otrzymują podobną liczbę
punktów (bo wszyscy przedstawiają w miarę poprawne: harmonogramy, sposób
rozdysponowania pracy pomiędzy członków zespołu badawczego oraz sposób prezentacji
wyników badania);
> powtarzające się i ustrukturyzowane kryteria jakościowe - sporo doświadczonych firm
specjalizujących się badaniach ewaluacyjnych, posiadających wypracowane rozwiązania
metodologiczne i organizacyjne) powoduje, że ostateczne różnice w punktacji za część
merytoryczną pomiędzy oferentami nie są wysokie;
8
Jak zlecamy badania w Polsce – jaka jest
jakość kryteriów merytorycznych
> Ocena jakości kryteriów merytorycznych nie wypada pozytywnie, w
ponad 80 % przeglądanych SIWZ pojawiały się następujące błędy:
> Brak wskazania czynnika oceniającego w kryteriach (np. zasadność, trafność, etc.), co w
praktyce może oznaczać, że wystarczy, aby dany element (np. dobór próby czy model
badania) znalazł się w ofercie, a nie musi już być sensowny z punktu widzenia realizacji
celów badania;
> Jedno kryterium/podkryterium zawiera więcej niż jeden czynnik oceniający (np. trafność i
spójność logiczna), co sprawia, że nie jest jasne, jak będzie rozkładała się punktacja - nie
wiadomo ile punktów za trafność, a ile za spójność;
> Brak definicji jak rozumiemy jakość / trafność ...
> Brak rozdysponowania punktów pomiędzy poszczególne podkryteria (np. „do 45 pkt za
metodykę i do 15 za organizację badania”),
> Powtarzają się kryteria, które dotyczą tej samej kwestii;
> Ocenianie elementów zawartych w SOPZ (np. strukturalizacji badania);
> W przypadku punktowania dodatkowych elementów (np. metody, pytania) brak wskazania
liczby ocenianych elementów, co powoduje niepotrzebny rozrost ofert ...
> Ocenianie sposobu doboru próby bez zapewnienia danych odnośnie populacji badania.
9
Jak zlecane są badania zagranicą ?
Dominujące
kryterium - cena
• Czechy
• Hiszpania
• Rumunia
• Słowacja
• Słowenia
• Węgry
Kryterium jakości
przeważa nad
kryterium ceny
• Austria
• Bułgaria
• Dania
• Estonia
• Irlandia
• Litwa
• Niemcy
Dominujące
kryterium - jakość
• Cypr
• Finlandia
• Grecja
• Holandia
• Portugalia
• Szwecja
• Wielka Brytania
>
Kraje które zdecydowały się na kryterium ceny jako dominujące przy wyborze ofert, mają
problemy z jakością dostarczanych im ewaluacji, a co za tym idzie z użytecznością ekspertyz.
Poczynione oszczędności odbijają się negatywnie na poziomie kultury ewaluacyjnej danego
kraju,
>
Państwa o najdłuższej tradycji kultury ewaluacyjnej i największym doświadczeniu w
prowadzeniu polityk publicznych opartych na dowodach wykorzystują kryteria jakościowe do
oceny i wyboru wykonawców badań.
>
W praktyce doświadczonych administracji kryteria jakościowe są sformułowane syntetycznie
i nie są rozbijane na konkretne skale punktowe. Terminy takie jak np. „adekwatność
metodyki badawczej”, „spójność koncepcji”, „jakość operacjonalizacji badania” są
pozostawiane do interpretacji i oceny członkom komisji przetargowych.
10
Jak zlecane są badania ewaluacyjne
zagranicą ?
> W instytucjach europejskich (np: KE) dominuje podejście do oceny ofert
oparte na zdefiniowanych kryteriach jakościowych (zrozumienie
przedmiotu badania, metodyka badania i organizacja badania),
> Cena ma marginalny wpływ na wybór,
> W kryteriach jakościowych zawsze stosowana jest forma „stopniowalna”
(jakość, stopień zrozumienia „do ... pkt. „, takie podejście powoduje, że
ocenia nie jest zautomatyzowana,
> W przypadku rozbieżności punktowych powoływani są dodatkowi
eksperci,
> Częstą praktyką jest powoływanie do oceny grup zewnętrznych
ekspertów,
11
Jak możemy ulepszyć stosowane kryteria ?
> Uwzględniając uwarunkowania prawne stosowania
niemierzalnych kryteriów jakościowych należy zalecić,
aby :
> Kryteria były dopasowane do konkretnego badania, nie można
powtarzać jedno zestawu kryteriów do badań różnych typów i o
różnym stopniu uszczegółowienia,
> Kryteria były dokładnie opisane przy pomocy szczegółowych
podkryteriów,
> Poszczególnym kryteriom /podkryteriom przypisane były
odpowiednie wagi,
> W opisie sposobu oceny ofert należy określić zasady przyznawania
punktów poszczególnym ofertom w ramach kryteriów i podkryteriów,
przy czym zalecana jest ich kwantyfikacja – filozofie
kwantyfikowania kryteriów ...
12
Jak możemy ulepszyć stosowane kryteria ?
> Filozofie kwantyfikowania kryteriów tj:
> zastosowanie widełek w formie „do … pkt” – wtedy
kryterium powinno zawierać czynnik oceniający „stopień”
(np. przydatności, spójności, etc.);
> stopniowanie, np. „za 2 dodatkowe trafne pytania – 1 pkt, za
3 – 2 pkt, za 4 – 3 pkt” – w tym przypadku kryterium
również powinno mieć czynnik oceniający (np. przydatności,
spójności, trafność etc.);
> punktowanie zerojedynkowe (na zasadzie „spełnia – nie
spełnia”) – w tym przypadku kryterium powinno mieć formę
„trafność”, „spójność” (np. „3 pkt – zidentyfikowano trafne
potencjalne obszary ryzyka, mogące wystąpić w trakcie
realizacji badania oraz środki je minimalizujące; 0 pkt – nie
zidentyfikowano potencjalnych obszarów ryzyka i/lub
środków je minimalizujących lub któreś ze
13
zidentyfikowanych są nietrafne”).