Administracja oparta na wiedzy Jak wykorzystać badania sondażowe? Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG.
Download ReportTranscript Administracja oparta na wiedzy Jak wykorzystać badania sondażowe? Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG.
Administracja oparta na wiedzy Jak wykorzystać badania sondażowe? Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Spis treści 1. 2. 3. 4. 5. 6. Wstęp – Opis badania Rynek zamówień publicznych na badania sondażowe Od pomysłu do raportu - Proces badawczy realizowany w ramach Prawa Zamówień Publicznych Wnioski z badania Wyniki monitoringu Wnioski z monitoringu Wstęp „Jak zamawiać i prowadzić dobre badania w ramach Prawa Zamówień Publicznych?” – to pytanie postawił sobie zespół Na Straży Sondaży na początku projektu. Nasze zeszłoroczne działania miały na celu wypracowanie pewnych rozwiązań, które miałyby usprawnić cały proces i ułatwić pracę urzędników oraz ich komunikację z agencjami badawczymi. Badanie jakościowe miało być swojego rodzaju podsumowaniem tych działań, ale także nawiązaniem do naszego raportu opublikowanego w marcu 2014, w którym po raz pierwszy przedstawiliśmy obecną sytuację na rynku badań. „Przetargowe małżeństwa aranżowane” były pierwszym podejściem do zrozumienia relacji między Zamawiającymi i Wykonawcami w świetle prawa o zamówieniach Publicznych, które miało być także źródłem wiedzy dla zespołu Na straży Sondaży – punktem wyjścia dla działań projektu badawczego. Użyliśmy w nim metafory małżeństwa aranżowanego na określenie relacji Zamawiającego z Wykonawcą. To zapożyczone od jednego z Naszych rozmówców porównanie jest niezwykle trafne – wszak relacja, jaka zostaje nawiązana przez obie ze stron jest zaaranżowana w toku postępowania przetargowego i ściśle sformalizowana przez cały okres badań realizowanych w ramach Prawa o Zamówieniach Publicznych. Ostatni rok przyniósł pewne zmiany w prawie Zamówień Publicznych, które mają na celu lepsze dostosowanie ustawy do różnorodnego charakteru przedmiotów zamówienia. Jest to szansa dla urzędników, którym zależy na jakości badań, aby w lepszy sposób ustrzec się przed nierzetelnym wykonaniem, a dla agencji badawczych udogodnienie, dzięki któremu będą mogły swoją konkurencyjność budować nie tylko na cięciu kosztów projektu, ale na rzeczywistej jakości oferowanych usług. To, jak nowelizacja ustawy wpłynie na zamawianie badań sondażowych będziemy mogli zaobserwować dopiero w obecnym roku, tymczasem nasi rozmówcy w wywiadach odnosili się do swoich wcześniejszych bogatych doświadczeń, które wskazywały na to, że polska administracja i agencje obsługujące projekty publiczne są przygotowane do prowadzenia projektów w ramach przetargów w bardzo różnym stopniu. Badanie zostało przeprowadzone na przestrzeni listopada i grudnia 2014 wśród Zamawiających i Wykonawców biorących udział w różnorodnych projektach badawczych. Przeprowadziliśmy wywiady z 15 rozmówcami. Wśród Wykonawców wszyscy respondenci byli badaczami z przynajmniej kilkuletnim stażem, natomiast wśród Urzędników doświadczenie w przeprowadzaniu projektów badawczych było bardzo zróżnicowane (od jednego do ponad 50 projektów). Rynek zamówień publicznych na badania sondażowe Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wizerunek rynku badawczego Kto zamawia i realizuje badania? NIEKOMPETENTNI I NIEUCZCIWI WYKONAWCY ZAMAWIAJĄCY WYKONAWCY RZETELNE AGENCJE O DUŻYCH KOMPETENCJACH MERYTORYCZNIE PRZYGOTOWANI ZAMAWIAJĄCY INSTYTUCJE POZBAWIONE WIEDZY MERYTORYCZNEJ Polski rynek badawczy ma różne twarze, ale w najprostszym podziale po obu stronach postępowania przetargowego można mówić o podmiotach charakteryzujących się większymi i mniejszymi kompetencjami. Zamieszczony schemat przedstawia jedynie pewne „typy idealne”, oczywiste wszak jest, że zarówno poszczególne komórki w obrębie jednej instytucji jak i pojedyncze zespoły w agencjach badawczych różnią się między sobą wiedzą, doświadczeniem i zaangażowaniem. Niemniej jednak, w całym badaniu odnoszono się do tego typu podziałów, żeby lepiej zobrazować sytuację z jaką mają do czynienia aktorzy z obu stron procesu badawczego. • Merytorycznie przygotowani Zamawiający to urzędnicy, na których chce trafić każda agencja badawcza. Mają kompetencje i sprecyzowane cele badawcze, a także znają specyfikę badań na tyle, żeby sprawnie przejść z Wykonawcą przez projekt • Rzetelne agencje o dużych kompetencjach – to wykonawcy, którzy oprócz przygotowania dobrej oferty potrafią również odpowiednio zaplanować badanie, rozumieją cele badawcze, z zaangażowaniem podchodzą obowiązków i wywiązują się z postanowień umowy • Instytucje pozbawione wiedzy merytorycznej – urzędnicy, którzy nie zostali w wystarczającym stopniu przygotowani do zlecania badań, często nieprzywiązujący wagi do wyników, zmuszeni do wykonania badania przez podmioty wyższej instancji i pozbawioni wsparcia ekspertów • Niekompetentni i nieuczciwi Wykonawcy – do badań społecznych zachęciły ich duże budżety instytucji i łatwy dostęp do konkursu ofert. Brak wiedzy i etyki często wychodzi na jaw dopiero po podpisaniu umowy, dlatego Zamawiającym trudno się przed nimi bronić Rynek badań w Polsce Kompetencje Zamawiających Kompetencje Zamawiającego stanowią punkt wyjścia dla całego procesu przygotowania Zamówienia publicznego. To od przygotowania merytorycznego zależy, w jaki sposób zostanie rozpisany przetarg, jak zostaną wybrani Wykonawcy i jak będzie wyglądała komunikacja w badaniu. W efekcie, to w przeważającej części od kompetencji Zamawiającego będzie zależało to, jakiej jakości będzie produkt finalny – raport z badania. Duże instytucje, z których przedstawicielami mieliśmy możliwość porozmawiać charakteryzują się dużym doświadczenie oraz wiedzą merytoryczną i formalną. W tych instytucjach można było zauważyć zarówno przygotowanie merytoryczne Zamawiających jak i nastawienie na dialog z Wykonawcą. Stoją za nimi również realna potrzeba robienia badań i rzetelne wykorzystanie ich wyników. Niestety nie wszystkie instytucje są dobrze przygotowane do zamawiania badań. Szczególnie dało się to zauważyć w tych, które rzadko podejmują takie działania. Brakuje w nich osób o odpowiednich kompetencjach do zamawiania projektów badawczych. Brak wiedzy i możliwości zdobycia jej przy jednoczesnym przymusie robienia badań często wywołuje frustrację i prowadzi do złych decyzji, a w efekcie do marnotrawienia środków publicznych. Przekłada się to na złe decyzje podejmowane już na poziomie tworzenia dokumentacji (nieodpowiednia metodologia, zbyt duża waga ceny w stosunku do charakteru badania, nietrafione kryteria pozacenowe, nieodpowiednie wymogi dotyczące Wykonawców itp). O tym nierównym poziomie wiedzy merytorycznej poświadczają również Wykonawcy, którzy w swojej pracy spotykają dużą różnorodność doświadczenia i kompetencji. Jak przyznają sami badacze, wiedza urzędników jest często tak rozbieżna, że bardzo trudno wydać ogólny osąd o przygotowaniu polskiej administracji do zlecania badań społecznych. Dobrze skonstruowany SIWZ i SOPZ Merytorycznie poprawna ocena ofert Przygotowany Zamawiający Zdolność do efektywnego wykorzystania danych z badania Dialog i umiejętna kontrola w procesie badawczym Wizerunek rynku badawczego Z jakich powodów robi się badania? Wciąż można się spotkać z poglądem, że badania robi się po to, aby wydać pieniądze publiczne. Szczególnie jest to widoczne w badaniach ewaluacyjnych, które są finansowane głównie z funduszy unijnych i do tej pory nie udało się ich zaimplementować na finansowanie z budżetu Państwa. Badanie jednak pokazało, że wiedza wyniesiona z projektów badawczych jest coraz bardziej ceniona, a wyniki wykorzystywane w budowaniu nowych strategii. Zarówno Wykonawcy i Zamawiający przyznają, że raporty coraz rzadziej zalegają na półkach – są przesyłane miedzy urzędami i stają się źródłem informacji. Zamawiający poszerzają swoją wiedzę, która pozwala im przede wszystkim czerpać wymierne korzyści z wyników badań: „Aż się sam ostatnio zdziwiłem, kiedy przy zupełnie innej okoliczności zaczepił mnie mężczyzna mówiąc, że korzystali z naszego raportu i powiedział, że dostał go od urzędu X i zamierzają go wykorzystać u siebie” Wykonawca Coraz większą część zamówień stanowią projekty, które łączą w sobie część badawczą i strategiczną – Zamawiający edukują się, że dobrze przeprowadzonych badań można dostać wymierne korzyści Nie jest jednak tak, że wszyscy urzędnicy są przekonani sile sprawczej badań. Do badań zlecanych odgórnie należy wszelkiego rodzaju ewaluacja, która została przeprowadzona na grunt polski z tytułu wejścia do Unii Europejskiej i wprowadzania programów unijnych. Część jednostek, które ewaluacje musiały wdrożyć, nie była do tego zupełnie przygotowana. Niewystarczająca ilość, bądź nieodpowiednia forma szkoleń doprowadziła do tego, że urzędnicy w niektórych jednostkach nie tylko nie rozumieją narzędzi badawczych i wyników badań, ale przede wszystkim nie mają zaszczepionej wiary w słuszność badań tego rodzaju. Nasi rozmówcy przyznawali, że nawet źródła finansowania większości badań są oznaką tego, że dotychczas nie udało się zaszczepić ewaluacji do polskiej administracji na tyle, aby zaczęła być finansowana w większym stopniu przez budżet państwa. Kilku Zamawiających zwróciło uwagę, że kiedy skończy się finansowanie w ramach Unii Europejskiej, wiele gałęzi badań społecznych finansowanych z pieniędzy publicznych zaniknie. Oczywiste jest, że tak jak kompetencje, sama potrzeba robienia badań będzie zróżnicowana wśród różnych podmiotów publicznych. Jednak nasi rozmówcy przyznawali, że sami widzą, jak rola badań w procesie decyzyjnym instytucji się zwiększa. Wizerunek rynku badawczego Jak jest oceniana ustawa? Obecnie postępowanie przetargowe na badania finansowane ze środków publicznych określone są przez Ustawę Prawo Zamówień Publicznych (z dnia 29 stycznia 2004 roku). Określa ona zasady, wedle których instytucje publiczne powinny ogłaszać wszelkie przetargi realizowane w ich obrębie. Prawo to jest bardzo ogólne, aby móc obejmować bardzo zróżnicowane przedmioty zamówień. Zarówno z perspektywy Wykonawców, jak i Zamawiających ustawa nie jest przygotowana w taki sposób, aby zapewnić odpowiednią jakość badań: „Moi koledzy ciągle powtarzają , że jest to ustawa antykorupcyjna, a nie ustawa pozwalająca wybrać najlepszego Wykonawcę” Zamawiający Zamawiający widzą ograniczenia wynikające z Prawa Zamówień Publicznych na każdym etapie zamawiania badania. Bardzo długie terminy związane z postępowaniem, niepewność związana z wyborem Wykonawcy i trudności w opracowaniu kryteriów wyboru sprawiają, że Zamawiający chętniej zlecają mniejsze badania poniżej ustawowego progu. Ustawa pozwala stawać do przetargu nieograniczonego nawet firmom nieznanym na rynku, jeżeli tylko są w stanie spełnić wymogi określone w Specyfikacji Istotnych Warunków Zamówienia. Zamawiający wiedzą, że nawet formalne spełnienie wymogów w obecnej sytuacji prawnej nie gwarantuje wysokiej jakości usług. Dlatego zamawianiu badań towarzyszy ciągła niepewność i brak zaufania w stosunku do Wykonawców. Na szczęście kolejne nowelizacje idą według badanych w dobrą stronę. Ze zmniejszenia roli kryterium cenowego i zwiększenia wagi zapisu o możliwości wykluczenia Wykonawcy z rażąco niską ceną cieszą się szczególnie Wykonawcy, którzy do tej pory przegrywali ze względu na duże koszty własne w zestawieniu z mniejszymi i tańszymi agencjami. Zabiegi tego rodzaju mogą sprawić, że wartość merytoryczna ofert będzie rosła i zaniżanie cen tylko po to, aby zdobyć projekt przez niewielkie firmy kosztem płac badaczy i współpracowników, a także jakości dostarczanych danych będzie coraz rzadsze. Od pomysłu do raportu Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Proces powstawania Zamówienia Przygotowywanie dokumentacji i składanie ofert Czas przygotowania dokumentacji przetargowej jest różny w zależności od tego, w jakim trybie jest ono przeprowadzane. Zamawiający mierzący się z badaniem o dużym budżecie muszą zmierzyć się z bardzo długim procesem przygotowania Zamówienia wynikającym z prawa Zamówień Publicznych. Oczywiście badania zamawiane ad hoc zazwyczaj są realizowane poniżej progu unijnego, więc całą procedura jest krótsza. Niestety są to zdecydowanie dłuższe terminy niż w przypadku badań marketingowych, a potrzebujący szybkich wyników Zamawiający są zmuszeni do skracania czasu realizacji badania. Wykonawcy zaproszeni do badania przyznają, że terminy na złożenie oferty wydaję się im czasem absurdalnie krótkie. Pomimo tego, że czas na składanie ofert jest ustalony ustawowo, to jednak bardzo rozbudowane projekty wymagają zdecydowanie dłuższego czasu na przygotowanie oferty. Jeśli projekt wymaga zgromadzenia szczegółowej dokumentacji i skomplikowanej propozycji metodologii, agencje mają zdecydowanie za mało czasu na odpowiednie przygotowanie ofert. To właśnie brak przystosowania terminów do charakteru badania jest największym problemem na tym etapie, rozbudowane projekty wymagające konsultacji ekspertów i merytorycznych przygotowań są traktowane w ten sam sposób jak te wymagające jedynie wyceny i niezbędnych dokumentów. Brak czasu w połączeniu z niejasnymi lub wyśrubowanymi wymogami skutkują tym, że niektóre oferty badawcze są niedopracowane i ogólnikowe. Zamawiający przyznają, że poziom ofert jest bardzo zróżnicowany. Szczególnie widać to w przypadku ofert odpowiadających na ogłoszenie o przetargu z pozacenowymi kryteriami wyboru Wykonawcy – wtedy doskonale widać, która oferta została przygotowana z należytą dokładnością, a na którą zabrakło Wykonawcy czasu: „Kiedy widzimy na przykład, że jeden Wykonawca przygotował 3 strony metodologii badania, a drugi 30, to wiemy, który się przyłożył do swojej pracy. Jednak przecież nie możemy oceniać oferty wedle jej długości” Zamawiaający Proces powstawania Zamówienia Rozpatrywanie ofert Rozpatrywanie ofert jest bardzo ściśle związane z tym jakie kryteria wyboru zostały zastosowane w Specyfikacji Istotnych Warunków Zamówienia. Jeżeli jedynym kryterium jest cena, rozpatrywanie trwa krócej i opiera się jedynie na wyborze Wykonawcy z najatrakcyjniejszą wyceną badania. W przypadku innych prostych kryteriów (np. wielkość próby) proces również nie jest zbytnio utrudniony. Wszystko komplikuje się, kiedy, kryteria pozacenowe stanowią większą część ceny, a minimum metodologiczne określone w OPZ jest bardzo ogólne. Wtedy to Zamawiający stają przed wyzwaniem szczegółowej oceny dostarczonych ofert i mogą napotkać wiele problemów: Po pierwsze, ofert nie należy miedzy sobą porównywać – każda z nich musi być oceniana oddzielnie, co jest bardzo trudne, w przypadku miękkich kryteriów. Po drugie, duża ilość kryteriów sprawia, że oferty znacząco zwiększają swoją objętość i cały proces rozpatrywania zdecydowanie się wydłuża. Trudno tego uniknąć, ponieważ Wykonawcy chcą zaprezentować się jak najlepiej, więc w szczegółowy sposób odpowiadają na wymogi postawione przez Zamawiającego. Po trzecie, bardzo trudno uniknąć subiektywizmu w ocenie oferty agencji, z która Zamawiający ma dobre doświadczenia. Miękkie kategorie sprawiają, że często członkowie komisji przetargowej nie zgadzają się między sobą. Największym problemem, jaki sygnalizowali Zamawiający przy rozpatrywaniu ofert jest fakt, że nie zawsze dobra oferta świadczy o rzeczywistych kompetencjach firmy badawczej. Jedna z urzędniczek zwróciła uwagę na to, że są agencje, które specjalizują się w pisaniu bardzo dobrych ofert, które gwarantują wygraną przetargu. Jednakże, po podpisaniu umowy okazuje się, że część realizacyjna nie jest już na tak wysokim poziomie. Zamawiający, więc, nawet po wyborze najlepszej oferty nie są pewni, czy związali się z odpowiednim Wykonawcą. Proces powstawania Zamówienia Co jest najważniejsze w SIWZ i SOPZ NA POZIOMIE SKŁADANIA OFERTY Wykonawcy zwracają przede wszystkim uwagę na kryteria wyboru oferty zawarte w Specyfikacji Istotnych Warunków Zamówienia. To od nich zależą ich szanse na zdobycie projektu. Dopiero w drugiej kolejności istotne są dla nich wymogi, jakie niesie za sobą badanie. Wykonawcy postępują wedle zasady „najważniejsze to dostać projekt, później się będziemy martwić, jak go zrealizować”. NA POZIOMIE ROZPISYWANIA PRZETARGU Urzędnicy przywiązują największą wagę do wymogów, jakie są nakładane na potencjalnych Wykonawców. Jest to dla nic forma zabezpieczenia przed nieodpowiednimi badaczami. Wiedzą, że jeśli SIWZ nie zostanie skrupulatnie przygotowany, to istnieje ogromne ryzyko wybrania nieodpowiedzialnej firmy. Coraz większe doświadczenie w przygotowaniu dokumentacji przetargowej sprawiło, że Zamawiający ubezpieczają się na wszelkie ewentualności. NA POZIOMIE REALIZACJI PROJEKTU Wykonawcy byli zgodni – w badaniu najważniejsze jest postawienie jasno celu – to sprawia, że obie strony wiedzą, co jest najważniejsze w ich wspólnym projekcie i jak kierować współpracą. Kolejnym elementem jest spójność określonej przez Zamawiającego metodologii z owym celem badania – niejednokrotnie zdarzało się, że przyjęta technika badawcza nie byłą w stanie zapewnić odpowiednich rezultatów, a szczegółowe zapisy w OPZ nie pozwalały Wykonawcy na jej modyfikację. Równie ważny jest harmonogram badania – to, czy jest on możliwy do utrzymania, czy jednak trudny do realizacji. Wykonawcy przyznają, że w wielu postępowaniach przetargowych jest on nierealny do wykonania. NA POZIOMIE REALIZACJI PROJEKTU W tym etapie najważniejsze dla Zamawiającego jest odpowiednie zabezpieczenie swojej współpracy z Wykonawcą tak, aby otrzymać końcowy produkt o jak najwyższej jakości, dlatego przygotowujący SIWZ jak najdokładniej określają takie warunki współpracy jak terminy, kontrola i wytyczne odnośnie raportowania postępów. Zamawiający obawiają się, że niedoprecyzowany SIWZ pozostawi miejsce na niedomówienia, które mogą wpłynąć na pogorszenie się jakości badania, bez ukarania za to Wykonawcy, z drugiej strony część z nich jest zdania, że SOPZ powinien zostać ogólniejszy, ponieważ to do Wykonawcy należy dobre zaprojektowanie badania. WYKONAWCA ZAMAWIAJĄCY Proces powstawania Zamówienia Szczegółowość SOPZu To, czy SOPZ powinien być szczegółowy zależy od wielu czynników, choć widać pewną rozbieżność w stanowiskach Zamawiających i Wykonawców. Zamawiający mierząc się z rozpisaniem przetargu, nie wiedzą, z kim przyjdzie im pracować nad projektem. Coraz większe doświadczenia urzędników skłaniają ich do ostrożności i szczegółowego formułowania wymagań. Pomaga im to uniknąć problemów, z którymi spotkali się przy poprzednich projektach. Dlatego część z nich decyduje się na bardzo szczegółowe wytyczne, również te wydające się absurdalne z perspektywy Wykonawcy. Dla badaczy pożądaną sytuacją jest ta, w której to oni odpowiadają za dobranie metodologii, mogą wtedy, bazując na swoim doświadczeniu dobrać narzędzia, które w najwyższym stopniu odpowiedzą na pytania badawcze. Oczywiście może to być też pole dla nieuczciwych Wykonawców, którzy zaproponują nie najodpowiedniejszą, ale taką metodologię, która pozwoli im przeprowadzić badanie niewielkim kosztem Oczywiście, część Zamawiających decyduje się na minimum metodologiczne pozostawiając Wykonawcom pole do działania przy jednoczesnym zwiększaniu wagi merytorycznych kryteriów wyboru oferty. Jest to dobre posunięcie, kiedy Zamawiający jeszcze nie ma konkretnego pomysłu na metodologię i chce sprawdzić kilka propozycji. Istnieje niestety zagrożenie, że Zamawiający nie formułują jasnych kryteriów, bo brak im do tego kompetencji, co oznacza, że również, że nie będą w stanie wybrać najodpowiedniejszej oferty z dostarczonych przez agencje. Badania trackingowe Badania na wykorzystanej już metodologii Badania porównawcze SZCZEGÓŁOWY SOPZ OGÓLNE WYTYCZNE Luźny pomysł Zamawiającego, bez konkretnej koncepcji, oczekujący na inwencję Wykonawcy Proces powstawania Zamówienia Kryteria doboru wykonawcy - cena Kryterium ceny jest jednym z najbardziej kontrowersyjnych tematów, które były poruszane w trakcie badania. W środowisku panuje przekonanie, ze udział kryterium cenowego wiele mówi o kompetencjach Zamawiającego. Zarówno doświadczeni Zamawiający, jak i Wykonawcy zgadzali się co do tego, że kryterium 100% ceny może być stosowana jedynie w przypadku, gdy dotyczy ona badań trackingowych lub czysto realizacyjnych (w których SOPZ jest bardzo uszczegółowiony). W przypadkach pozostałych badań duży udział kryterium cenowego jest odbierany często w ten sposób, że instytucja nie jest przygotowana na ocenianie ofert pod względem merytorycznym. Badani Wykonawcy z ulgą przyjęli nowelizację Ustawy o Zamówieniach Publicznych, która ogranicza rolę kryterium cenowego, ponieważ, jak powiedział jeden z nich „Urzędnicy sami psują rynek badań poprzez kryterium 100% ceny. Prowadzi to do ograniczania kosztów i bardzo niskich kosztów w pracy” Wykonawca Zaproszeni do badania Wykonawcy wspominali o sytuacjach, w których przegrywali przetarg z powodu konkurencji dającej zdecydowanie niższą ofertę cenową. Zdarzały się sytuacje, w których cena konkurentów była niższa niż same oszacowane przez nich koszty badania. Bardziej doświadczeni Zamawiający również zdają sobie sprawę z problemu. Potrafią ocenić jakość badania za proponowana przez oferenta cenę. Niestety, w tej sytuacji nie pomaga prawo Zamawiającego do odrzucenia oferty z rażąco niska ceną: „Ja wiem, że za te pieniądze można zrobić badanie, nie mam podstaw do odrzucenia oferty. Wiem jednak, że ta cena nie pozwala na zrobienie dobrego badania – z odpowiednim zespołem badawczym, współpracownikami i sprzętem.” Zamawiający Wszyscy urzędnicy, którzy mają kompetencje lub zewnętrznych ekspertów do przygotowania merytorycznej części Zamówienia oraz oceny ofert są zgodni, co do tego, że ograniczenie ceny znacząco wpłynie na poprawę jakości badań. Tym bardziej, że jak zauważył jeden z rozmówców, wiele początkujących firm badawczych o niewielkich kompetencjach jest w stanie zejść z ceny nawet poniżej poziomu kosztów, jedynie po to, aby wejść w rynek Zamówień Publicznych i w przyszłych postępowaniach móc pochwalić się zdobytym doświadczeniem. Brak rzeczywistego zysku z projektu jest wtedy niewielkim kosztem wejścia w obszar postępowań przetargowych, które Wykonawcy uważają za bardzo dochodowy i w przeciwieństwie do badań komercyjnych potencjalnie dostępny nawet dla mniej znanych firm. Proces powstawania Zamówienia Pozacenowe kryteria doboru wykonawcy Istnienie pozacenowych kryteriów wyboru Wykonawcy jest najdogodniejszym sposobem na wybór dobrej agencji. Wykonawcy i Zamawiający zgadzają się co do tego, że najlepszym kryterium są dodatkowe pytania badawcze. To kryterium pozwala ocenić, czy oferent „poczuł badanie” i intencje Zamawiającego, pozwala wykazać się kreatywnością i znajomością tematu. Jeżeli pytania badawcze odpowiadają wizji Zamawiającego, jest szansa na obiecującą współpracę. Innym, często wskazywanym, choć dyskusyjnym kryterium pozacenowym jest harmonogram badania. Zamawiającemu, który chce przeprowadzić badanie w jak najszybciej (przykładowo badanie ad hoc, które trzeba przeprowadzić przed wprowadzeniem w życie konkretnych działań) wiele czasu upływa na samym postępowaniu przetargowym. Dlatego, zależy mu na agencji, która pozwoli na skróci harmonogram prac do minimum. Jest to oczywista potrzeba, niestety jednak zestawiając kryterium cenowe z kryterium harmonogramu, a zapominając o odpowiedniej wadze kryteriów jakościowych, Zamawiający może wybrać Wykonawcę, który nie dostarczy odpowiednio przygotowanego produktu z badania. Wykonawcy, z którymi rozmawialiśmy, doskonale zdawali sobie sprawę z tych zależności, dlatego w ich wypadku kryterium harmonogramu często było traktowane podobnie jak cena – jeśli firma jest w stanie zejść do absurdalnie krótkiego czasu badania, to znaczy, że nie zrobi tego rzetelnie. Innym kryterium, który jeden z Wykonawców określił mianem kryterium „quazi cenowego” jest wielkość próby. Przedstawiciele agencji badawczych uważają je za zupełnie niepotrzebne kryterium. Określenie wymaganej wielkości próby często sprawia, że oferenci przeszacowują próbę niezbędną do wykonania skutecznie badania tylko po to, aby wygrać konkurs ofert. Kryterium to w żaden sposób nie gwarantuje merytorycznego przygotowania agencji badawczej do wykonywania badań, poza tym niesie ryzyko, że ostatecznie projekt badawczy będzie droższy, niż powinien: wyższa próba oznacza większe koszty. Jednak, zarówno kryterium cenowe, harmonogram badania i wielkość próby łączy jedno – bardzo łatwo jest na podstawie ich wybrać zwycięską ofertę bez odnoszenia się do subiektywnej oceny. W innych przypadkach Zamawiający boją się, że mogą zostać posądzeni o subiektywność. Proces badawczy Komunikacja między Wykonawcą, a Zamawiającym Poglądów na to, jak ma wyglądać komunikacja miedzy Zamawiającym, a Wykonawcą jest bardzo wiele. Po obu stronach projektu badawczego można znaleźć zarówno zwolenników częstych kontaktów, jaki i tych, którzy kontakt ograniczają do minimum. Wynika to w dużej mierze z zróżnicowanych kompetencji Zamawiających. Wykonawcy, wiedząc, że po drugiej stronie mają kogoś kompetentnego i nastawionego na współpracę, chętnie korzystają z pomocy, nieraz sami inicjują kontakt. Obu stronom zależy na jak najlepszym przygotowaniu, a Wykonawcy mierzący się z trudnym zagadnieniem często potrzebują wsparcia w trudnych sytuacjach. Proces badawczy jest pełen nieprzewidywanych zdarzeń i pewnych kłopotów nie da się przewidzieć, dlatego bardzo trudno jest zamknąć komunikację na wstępnych ustaleniach i podpisaniu umowy. Dynamicznie zmieniające się warunki badawcze nieprzewidywane problemy zmuszają do ciągłego kontaktu. Niestety, zdarzają się sytuacje, w których Zamawiający pozostawia badaczy samym sobie przez cały proces, przez co nie są oni uczuleni na błędy, które mogą popełnić. Wykonawca nie ma możliwości zrewidować swojego punktu widzenia z oczekiwaniami wykonawcy. Często dopiero przy odbiorze raportu lub na prezentacji Zamawiający zgłasza uwagi i wytyka błędy, których można było uniknąć przy odpowiedniej komunikacji. Oczywiście, pozostawienie agencji badawczej bez wsparcia nie jest domeną wszystkich Zamawiających. W instytucjach zlecających wiele badań, urzędnicy posiadają bogate doświadczenie, które przekłada się na zaangażowanie w proces badawczy. Takie osoby chcą pomóc Wykonawcom, a jednocześnie mieć świadomość, że badanie przebiega zgodnie z planem: „Cenię sobie kontakt z Wykonawcami, szczególnie, kiedy siadamy i się wspólnie głowimy jak rozwiązać jakiś problem. Generalnie, jak wykonawca nie dzwoni, to odbieram to jako oznakę kłopotów” Zamawiający Zamawiający uczą się, że o ostateczny kształt badania i jego efekty muszą troszczyć się na równi z Wykonawcą, ponieważ tylko wiedza z zakresu przedmiotu badania w połączeniu z wiedzą badawczą mogą dać najlepszy efekt. Proces badawczy Kontrola Wykonawców Kontrola procesu badawczego to pole, w którym punkty widzenia Zamawiających i Wykonawców różnią się najbardziej. Kompetentni Zamawiający z dużym doświadczeniem starają się mieć kontrolę nad każdym etapem badania. Nie robią tego, aby utrudniać pracę agencji, ale w celu dokładnej weryfikacji celów badania i wymogów wobec Wykonawcy. Oczywistym jest, że na poziom kontroli wpływają doświadczenia z poprzednich projektów. Zamawiający, którzy w przeszłości spotkali się z nierzetelnie wykonanym projektem są bardziej uczuleni na kontrolę. Trzeba pamiętać, że źle wykonane badanie jest związane nie tylko stratą funduszy i konsekwencjami ze strony przełożonych. Przede wszystkim skutkuje brakiem wytycznych do działania podpartych dobrze wykonanym badaniem. Specyfika procesu badawczego sprawia, że błędy wykonane w terenie są nie do naprawienia w kolejnych etapach projektu. Zrozumiałe więc jest, że Zamawiający, który nie zna agencji, lub ma jakiekolwiek podejrzenia co do jej kompetencji, będzie starał się z większym natężeniem kontrolować Wykonawcę, niż gdyby miał do czynienia z agencją, z którą ma dobre doświadczenia. Wykonawcy zdają sobie sprawę z tego, że kontrola ze strony Zamawiającego jest nieunikniona i godzą się z nią, jednak zdarza się, że muszą przeciwstawiać się urzędnikom. Dzieje się tak, kiedy Zamawiający domaga się absurdalnych sposobów kontroli, które mogą wpłynąć na przebieg badania; „Zdarzyło się, ze musieliśmy wytłumaczyć Zamawiającemu, że nagrywanie wypełniania ankiety jest niemożliwe i może zakłócić proces badawczy” Wykonawca Zarówno Zamawiający, jak i Wykonawcy są zgodni – relacje między nimi nie mogą opierać się jedynie na nieufności i ciągłej kontroli. Podstawą udanego projektu jest agencja badawcza, która potrafi prowadzić efektywną kontrolę wewnętrzną oraz Zamawiający, który nie ogranicza się jedynie do ciągłego sprawdzania każdego elementu badania, ale buduje relacje partnerskie. Oczywiste jest jednak, że Zamawiający powinien czuwać nad całym procesem badawczym – to on ostatecznie jest odbiorcą projektu i powinien dawać odczuć, że zależy mu na najwyższych standardach. Kontrola nie jest więc niczym niepożądanym, istotne jest to w jaki sposób jest ona przeprowadzana. Proces badawczy Wykorzystanie wyników badań W badaniu mieliśmy do czynienia głównie z Zamawiającymi, którzy widzą potrzebę robienia badań , dbają o jakość wykonania i, co najważniejsze wykorzystują wyniki badań. Z powodu ograniczonych środków Zamawiający muszą precyzyjnie dobierać tematy badań, które powinny być zrealizowane. Realizują więc te, które są im niezbędne do wdrożenia nowych działań czy inwestycji. Dlatego też, wyniki badań są bardzo istotne, a raportów, które zalegają na półkach robi się coraz mniej. Z czego to wynika? Zamawiający i Wykonawcy byli zgodni – urzędnicy edukują się i traktują badania jako źródło rzetelnej wiedzy, a nie jedynie sposób na wydanie pieniędzy publicznych. Zamawiający wykorzystują realnie raporty w trzech najważniejszych celach: • Jako wskazówki do przyszłych działań i legitymizację obecnych, • Jako realna ocenę działań, które do tej pory były podejmowane (rodząca się potrzeba ewaluacji), • Jako narzędzie do wykorzystania w przyszłych badaniach. Zamawiający twierdzili, że w ich instytucjach próżno szukać tak zwanych „pułkowników”, czyli raportów, które nie zostały do niczego wykorzystane, a także, że wracają do starszych publikacji w poszukiwaniu wiedzy. „Podkładka” do planowania przyszłych badań Raporty Wytyczne do podejmowania działań Ocena dotychczasowych działań Proces badawczy Wykorzystanie wyników badań Część osób twierdziła, że nawet jeśli w danym momencie zgromadzonej przez agencję wiedzy jest za dużo, to może się ona przydać w kolejnych projektach, dlatego nie uważają rozbudowanych badań za niepotrzebne. Dla części Zamawiających wyniki badania są na tyle ważne, że wolą otrzymać tylko surowe dane, a potem, wykorzystując własną specjalistyczną wiedzę, sami tworzą raporty pod nowe strategie. Musimy mieć tu oczywiście na uwadze samą sytuację badania Zamawiający, którzy zgodzili się z nami rozmawiać to w większości urzędnicy, którzy rzeczywiście widzą potrzebę robienia badań i wykorzystywania wyników. Oczywiste jest, że Zamawiający o mniejszych kompetencjach nie odczuwaliby takich chęci wzięcia udziału w badaniu. Ze strony urzędników mniej doświadczonych w zakresie badań pojawiły się głosy, że trudno jest im wykorzystywać wyniki badań, które zostały zlecone z góry, a nie z ich własnej potrzeby. Mniej optymistycznie wykorzystywanie raportów widzą Wykonawcy, którzy zdają sobie sprawę, że część ich pracy jest tworzona bez większej potrzeby. Nawet, jeśli sam temat badania jest ważny, a wyniki budzą zainteresowanie, to jednak zdarza się, aby Zamawiający chciał poruszyć bardzo wiele kwestii w badaniu, które, jak się później okazuje nie są istotne i zwiększają jedynie liczbę stron w raporcie. Wykonawcy zdają sobie sprawę z tego, że ich praca często zostaje niewykorzystana: „Kiedyś myślałam, ze zamawiający nie nadał sensu badaniu to my nadamy... w tym momencie mam inne odczucia. (Wyniki badań) nie są wykorzystywane tak jak trzeba„ Wykonawca Proces badawczy Obecność zewnętrznych ekspertów Zamawiający przyjmują różnorodne strategie w procesie Zamawiania badań, które mają sprawić, że otrzymane wyniki badania będą miarodajne i przysłużą się działaniom instytucji. Niektóre podmioty są na tyle kompetentne, że same potrafią zarządzić badaniem już na poziomie przygotowania SIWZów i wyboru zwycięskiej oferty. Część instytucji, szczególnie tych, które realizują badania z bardzo specjalistycznych dziedzin, same podejmuje się analiz zebranych danych i pisania raportu, a agencje badawczą prosi tylko o realizację badania. Niestety, nie wszystkie instytucje mają na tyle przygotowanych merytorycznie pracowników, żeby mogli oni w sposób kompetentny koordynować projekt badawczy. Dlatego też, w takich przypadkach istnieje potrzeba zatrudnienia niezależnego eksperta, który pomoże przygotować odpowiednie dokumenty, wesprze wybór Wykonawcy, zarządzi badaniem i będzie odpowiadał za merytoryczną stronę kontaktów z firmą badawczą. Część instytucji decyduje się na ten krok, szczególnie kiedy ich doświadczenie w Zamawianiu badań ogranicza się do jednego dwóch projektów. Niezależny ekspert jest wtedy dla nich gwarancją, że wybiorą odpowiednia agencję i nie zostaną oszukani przez Wykonawców w kolejnych etapach badania. Obecność merytorycznie przygotowanej osoby daje poczucie bezpieczeństwa i pewności, że środki publiczne są dobrze wydatkowane. Wykonawcy, z którymi rozmawialiśmy mieli bardzo różne doświadczenia z niezależnymi ekspertami zatrudnianymi przez instytucje. W wywiadach zauważono, że takimi ekspertami zostają często socjolodzy, którym bliżej do naukowców akademickich niż doświadczonych badaczy. Jest to problemem dla Wykonawców, którzy zwracają uwagę, że ekspert z środowiska naukowego potrafi być trudniejszym współpracownikiem niż niedoświadczony urzędnik. Naukowiec posiada dużą wiedzę teoretyczną, jednak nie jest przyzwyczajony do pracy w terenie i specyfiki badań społecznych. Jednocześnie jest przekonany o swoich znaczących kompetencjach, co bardzo utrudnia jakikolwiek dialog z agencją. Innymi słowy, ekspert-naukowiec „wie lepiej” i stawia wymagania prawie niemożliwe do wykonania. Jak to określiła jedna z respondentek, następuje wtedy zderzenie dwóch światów, z którego często rodzą się konflikty. Wnioski z badania Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wnioski z badania Największe problemy – perspektywa Wykonawców Wykonawcy spotykają się z trudnościami, które stwarza postępowanie w trybie Zamówień Publicznych już na tyle długo, że wytworzyli pewne mechanizmy ochronne przeciw nim, jednak niektórych problemów nie da się lekceważyć: • Kryterium cenowe, które do tej pory przeważało w większości postepowań przetargowych prowadziło do zepsucia rynku – agencje zmuszone do obniżania drastycznie kosztów zatrudniają swoich pracowników na umowach śmieciowych i poniżej rzeczywistych kosztów ich pracy. • Kryteria pozacenowe, do których coraz częściej odnoszą się Zamawiający nie odwołują się do kompetencji Wykonawców, a często są jedynie „zakamuflowanym kryterium cenowym” • Wymogi odnośnie Wykonawców, określone w SIWZach niejednokrotnie są niesłusznie zawyżane i nieprzystosowane do rzeczywistych celów i poziomu badania . Niejednokrotnie wybrana przez Zamawiającego metodologia nie odpowiada w żaden sposób celom badania, przez co Wykonawca, nie posiadający prawa do negocjacji musi ją przyjąć, jednocześnie będąc przekonany, że badanie nie da odpowiednich wyników. • Chaos w instytucji i niejednoznaczne określenie osób odpowiedzialnych za projekt sprawia, że Wykonawca odczuwa niejednomyślność podejmowanych decyzji i niepewność, co do tego, w którą stronę powinien kierować działania • Wykonawcom zdarza się spotykać z bardzo wyśrubowanymi wytycznymi, które w ich odczuciu bywają absurdalne – spotykają się z karami finansowymi za literówki w raporcie czy wymóg nagrywania na video przebiegu badania ankietowego • Problemem, który najczęściej jednak psuje relacje jest nieuzasadniona kontrola i wrogość zamiast dialogu i zaufania • Wnioski z badania Największe problemy – perspektywa Zamawiających To, że Prawo Zamówień Publicznych i sposób jego wdrażania w obszar badań społecznych są niedoskonałe jest dla Zamawiających oczywiste. Na co dzień spotykają się z trudnościami, które w znacznym stopniu komplikują proces zamawiania i często pozbawiają gwarancji otrzymania dobrze wykonanego badania. Do szczególnych trudności zaliczane jest: • Zero-jedynkowy status wymogów kierowanych do Wykonawców (brak możliwości oceny np. ekspertów w zespołach badawczych) • Zakaz porównywania ze sobą ofert, co w praktyce jest często niemożliwe • • • Niemożność wykluczenia Wykonawcy proponującego cenę, która uniemożliwia wykonanie badania o dobrej jakości Trudności w konstruowaniu i ocenianiu kryteriów pozacenowych, które świadczą o merytorycznym przygotowaniu agencji do projektu bez obawy o posądzenie o stronniczość W wyniku długich terminów związanych z prawem Zamówień Publicznych zmuszeni są skracać harmonogram badań, żeby otrzymać efekty badania odpowiednio wcześnie Wyniki monitoringu Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Działalność Na straży Sondaży • • W ramach projektu codziennie w okresie od 01.01.2014 do 01.01.2015 monitorowaliśmy Biuletyn Zamówień Publicznych (BZP) oraz Suplement do Dziennika Urzędowego Unii Europejskiej (TED) pod kątem ogłoszeń przetargowych dotyczących badań sondażowych z jednego z następujących kodów CPV: – CPV 79.31.00.00-0 - Usługi badania rynku – CPV 79.31.50.00-5 - Usługi badań społecznych – CPV 79.31.12.00-9 - Usługi przeprowadzania badań ankietowych – CPV 79.31.12.10-2 - Usługi prowadzenia ankiet telefonicznych – CPV 79.31.13.00-0 - Usługi analizy ankiet – CPV 79.32.00.00-3 - Usługi badania opinii publicznej – CPV 79.31.10.00-7 - Usługi w zakresie ankiet – CPV 79.34.23.10-9 - Usługi badania opinii klientów – CPV 79.34.23.11-6 - Usługi ankietowania zadowolenia klientów – CPV 79.41.90.00-4 - Usługi konsultacyjne w zakresie ewaluacji Przez rok monitoringu pojawiło się ponad 200 takich zamówień, z czego 119 zostało zaklasyfikowanych jako badania sondażowe. Każdy Opis Przedmiotu Zamówienia (OPZ) i Specyfikacja Istotnych Warunków Zamówienia (SIWZ) takich badań zostały przeanalizowane, a informacje o zamówieniu oraz jego ocena merytoryczna była zapisywana we wcześniej przygotowanym do tego celu zbiorze. Analogicznie monitorowano również rozstrzygnięcia – spośród 119 zamówień , 12 zostało unieważnionych, dla kilku nie udało się znaleźć części informacji o rozstrzygnięciach. Kryteria formalne • Cena stanowiła średnio 68% kryteriów oceny zamówień (n=119), w 36% zamówień cena była jedynym kryterium (n=119) • W 64% zamówień wygrała oferta z najniższą ceną (n=99) • Średnia różnica w cenie między ofertą najtańszą i najdroższą wyniosła 191 583 zł (n=79), przy średniej cenie zamówienia równej 392 562 zł (n=79) • Średni czas od ogłoszenia zamówienia do wyboru wykonawcy to 43 dni Zamawiający Najwięcej zamówień 7 WUP, Szczecin 18 Największe zamówienia 24,538,725 zł 8 PFRON IBE 1,107,000 zł 1,399,248 zł IFiS PAN OKE, Poznań IBE Wykonawcy Najczęściej wygrywający Największe zamówienia 13 10,830,918.88 zł 12 7,296,500.00 zł 8 4,311,043.00 zł ASM BioStat PBS GfK Millward Brown PBS Cel badania • • • Populacja: Brak precyzji w definiowaniu respondentów (np. turyści, elity) Brak określenia z jakimi osobami z podmiotów zbiorowych (np. przedsiębiorstwa) przeprowadzić badanie • Zakres badania: Pytania badawcze nieodpowiadające specyfice badania sondażowego Brak pytań badawczych • • Termin badania: Krótki czas realizacji badania • • 93% 96% 84% Poprawnie opisana populacja Poprawnie opisany zakres badania Poprawnie opisany termin badania Kwestionariusz • • Wymagania metodologiczne: Brak wymagań odnośnie kwestionariusza dotyczących formy pytań (np. stosowania skal, zamiast pojedynczych wskaźników) • • Konsultacji kwestionariusza: Brak zapisu o konsultacji, gdy zamawiający przygotowywał kwestionariusz • • Pilotaż: Nieokreślenie formy pilotażu 70% 34% • • 29% Czas trawania kwestionariusza: Brak zapisów dotyczących zakładanego czasu trwania kwestionariusza lub liczby pytań 24% Poprawne wymagania odnośnie kwestionariusza Wymóg konsultacji kwestionariusza Wymóg pilotażu kwestionariusza Informacja o planowanym czasie trwania kwestionariusza Dobór próby • • Sposób doboru próbu: Brak informacji o rodzaju próby (losowa czy kwotowa), która ma być zastosowana w badaniu • • Liczebność próby: Brak zapisu dotyczącego liczebności próby • • Kwoty: W zamówieniach dotyczących prób kwotowych brakowało zapisów ze względu na jakie cechy mają być one zachowane 83% 75% 57% 26% • • Operat: Niewystarczająco precyzyjne wymagania odnośnie operatów dostarczanych przez wykonawców Określony sposób doboru próby Liczebność próby Określone kwoty Poprawny operat Realizacja badania • • Certyfikat: Brak informacji na jaki typ badań ma być posiadany certyfikat (CATI, CAPI itd.) • • Technika zbierania danych: Dowolność w technice zbierania danych • • Szkolenia dla ankieterów: Nie zawsze wymóg szkoleń był zapisany w zamówieniach przy których takie szkolenie powinno zostać zorganizowane, natomiast przy niektórych projektach wymóg ten się pojawiał, choć nie był konieczny. • • Kontrola realizacji: Brak informacji na czym taka kontrola ma polegać (terenowa, telefoniczna, czy spójności danych) 91% 58% 40% 24% Wymóg posiadania certyfikatu Określona technika zbierania danych Wymóg szkolenia dla ankieterów Wymóg kontroli realizacji Poziom realizacji próby • • Liczba prób kontaktu: Brak zapisów o zróżnicowanym terminie wizyt/przypomnień • • List zapowiedni: Brak takiego wymogu • • Poziom realizacji próby: Brak zapisów dotyczących poziomu realizacji próby Czasem wymóg zbyt wysokiego poziomu realizacji, skutkujący brakiem ofert • 37% 30% 19% Określona liczba prób kontaktu Wymóg listu zapowiedniego Określony poziom realizacji próby Wnioski z monitoringu Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wnioski z monitoringu • • • • 64% zamówień na badania sondażowe zostało rozstrzygniętych na korzyść oferenta, który przedstawił najtańszą ofertę. Średnia różnica w cenie oferty najtańszczej i najdroższej wynosi niemal 50% średniej ceny zamówienia. Średni czas od ogłoszenia zamówienia do rozstrzygnięcia przetargu to 42 dni, zdarzały się jednak przypadki, że przetarg rozstrzygano już po 15 dniach. W wielu zamówieniach brakowało podstawowych wymagań metodologicznych względem ofert. Brakowało kryteriów takich jak sposób doboru próby czy poziom realizacji. • • Część ofert nie pozwalała na rzetelną wycenę badania (np. przez brak informacji o oczekiwanym czasie trwania wywiadów). W wielu przypadkach dobór metodologii do badania był przerzucany na wykonawców, co przy braku pozacenowych kryteriów oceny zamówień promowało oferty o niskiej cenie. Oferenci rywalizowali na obniżenie kosztów badania, na czym cierpiała jego jakość, a więc i wiedza na podstawie której instytucje publiczne powinny podejmować decyzje. Dziękujemy za uwagę Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG