Administracja oparta na wiedzy Jak wykorzystać badania sondażowe? Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Spis treści 1. 2. 3. 4. 5. 6. Wstęp –
Download ReportTranscript Administracja oparta na wiedzy Jak wykorzystać badania sondażowe? Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Spis treści 1. 2. 3. 4. 5. 6. Wstęp –
Administracja oparta na wiedzy Jak wykorzystać badania sondażowe? Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Spis treści 1. 2. 3. 4. 5. 6. Wstęp – Opis badania Rynek zamówień publicznych na badania sondażowe Od pomysłu do raportu - Proces badawczy realizowany w ramach Prawa Zamówień Publicznych Wnioski z badania Wyniki monitoringu Wnioski z monitoringu Wstęp Badanie zostało przeprowadzone na przestrzeni listopada i grudnia 2014 wśród Zamawiających i Wykonawców biorących udział w różnorodnych projektach badawczych. Przeprowadziliśmy wywiady z 15 rozmówcami. Wśród Wykonawców wszyscy respondenci byli badaczami z przynajmniej kilkuletnim stażem, natomiast wśród Urzędników doświadczenie w przeprowadzaniu projektów badawczych było bardzo zróżnicowane (od jednego do ponad 50 projektów). Rynek zamówień publicznych na badania sondażowe Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wizerunek rynku badawczego Kto zamawia i realizuje badania – typy idealne WYKONAWCY ZAMAWIAJĄCY NIEKOMPETENTNI I NIEUCZCIWI WYKONAWCY RZETELNE AGENCJE O DUŻYCH KOMPETENCJACH INSTYTUCJE POZBAWIONE WIEDZY MERYTORYCZNEJ Trudni do wychwycenia na poziomie składania ofert Oprócz stworzenia dobrej oferty potrafią w rzetelny sposób przeprowadzić badanie Nieprzygotowani w wystarczającym stopniu do zlecania badań MERYTORYCZNIE PRZYGOTOWANI ZAMAWIAJĄCY Dobrze wykorzystujący finanse publiczne Jak sprawić, żeby współpraca w badaniach finansowanych z funduszy publicznych przebiegała między kompetentnymi Zamawiającymi i Wykonawcami? Rynek badań w Polsce Kompetencje Zamawiających Dobrze skonstruowany SIWZ i SOPZ Merytorycznie poprawna ocena ofert Przygotowany Zamawiający Zdolność do efektywnego wykorzystania danych z badania Dialog i umiejętna kontrola w procesie badawczym Rynek badań w Polsce Kompetencje Zamawiających Główne zagrożenia wynikające z braku wiedzy Zamawiających: • Źle skonstruowany SOPZ – nieścisłości, nieprawidłowe dobranie narzędzi do pytań badawczych • Nietrafione kryteria oceny ofert – sprowadzanie ich do kryterium cenowego, które nie wymaga merytorycznego przygotowania do rozpatrywania ofert • Trudności w nadzorowaniu i weryfikacji pracy Wykonawców – ryzyko niewykrycia naruszeń • Nieumiejętność wykorzystania wyników badań W EFEKCIE: ZMARNOTRAWIENIE FUNDUSZY PUBLICZNYCH Wizerunek rynku badawczego Z jakich powodów robi się badania? POTRZEBA ROBIENIA BADAŃ WŚRÓD ZAMAWIAJĄCYCH JEST CORAZ WIĘKSZA, JEDNAK NIE ZOSTAŁA JESZCZE ZASZCZEPIONA RÓWNOMIERNIE WE WSZYSTKICH INSTYTUCJACH PUBLICZNYCH Mniejsze instytucje zlecające mniej badań nie zostały w pełni wyedukowane, dlatego badań się boją i najczęściej robią je z przymusu Idea badań nie został jeszcze do końca zaimplementowana – tyczy się to szczególnie badań ewaluacyjnych, które wciąż są finansowane głównie z Funduszy unijnych „Aż się sam ostatnio zdziwiłem, kiedy przy zupełnie innej okoliczności zaczepił mnie mężczyzna mówiąc, że korzystali z naszego raportu i powiedział, że dostał go od urzędu X i zamierzają go wykorzystać u siebie” Wykonawca Wizerunek rynku badawczego Jak jest oceniana ustawa? USTAWA PRAWO ZAMÓWIEŃ PUBLICZNYCH - GŁÓWNE ZARZUTY Nieprzystosowanie do zlecania badań Wydłużanie czasu postępowania Trudność z stosowaniu kryteriów i tego konsekwencje Niepewność co o wyboru odpowiedniego Wykonawcy „Moi koledzy ciągle powtarzają , że jest to ustawa antykorupcyjna, a nie ustawa pozwalająca wybrać najlepszego Wykonawcę” Zamawiający Od pomysłu do raportu Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Proces powstawania Zamówienia Przygotowywanie dokumentacji i składanie ofert Główne problemy przy przygotowywaniu ofert od strony Wykonawców: • Brak dostosowania terminu na składanie ofert do stopnia zaawansowania badania – za mało czasu na konsultacje i merytoryczne przygotowanie • Wymogi nieadekwatne w stosunku charakteru badania Jakie główne wady ofert widzą Zamawiający? • Pobieżnie traktowane istotnych kwestii zawartych w SOPZ, niedokładność, brak precyzji, ogólnikowość „Kiedy widzimy na przykład, że jeden Wykonawca przygotował 3 strony metodologii badania, a drugi 30, to wiemy, który się przyłożył do swojej pracy. Jednak przecież nie możemy oceniać oferty wedle jej długości” Zamawiaający Proces powstawania Zamówienia Rozpatrywanie ofert Z CZYM SIĘ MUSI MIERZYĆ ZAMAWIAJĄCY PRZY ROZPATRYWANIU OFERT? ZWIĘKSZENIE LICZBY KRYTERIÓW WYDŁUŻA I KOMPLIKUE PROCES OCENY OFERT NIEMOŻNOŚĆ PORÓWNYWANIA OFERT MIĘDZY SOBĄ ZAGROŻENIE BYCIA OSKARŻONYM O BRAK OBIEKTYWIZMU W OCENIE OFERT RYZYKO, ŻE DOBRA OFERTA NIE OZNACZA DOBRZE WYKONANEGO BADANIA Proces powstawania Zamówienia Co jest najważniejsze w SIWZ i SOPZ NA POZIOMIE SKŁADANIA OFERTY NAJISTOTNIEJSZE SĄ KRYTERIA WYBORU WYKONAWCY I WYMOGI ODNOŚNIE UDZIAŁU W POSTĘPOWANIU PRZETARGOWYM – TEMATYKA I CELE BADANIA NA TYM ETAPIE SCHODZĄ NA DRUGI PLAN ISTOTNE ELEMENTY Z PUNKTU WIDZENIA WYKONAWCY NA POZIOMIE REALIZACJI PROJEKTU JASNY CEL, SPÓJNOŚĆ METODOLOGII Z CELAMI BADANIA ORAZ HARMONOGRAM BADANIA NA POZIOMIE ROZPISYWANIA PRZETARGU WYMOGI NAKŁADANE NA POTENCJALNYCH WYKONAWCÓW – DAJĄ ZABEZPIECZENIE, ŻE PRZETARG WYGRA DOŚWIADCZONA I RZETELNA FIRMA ISTOTNE ELEMENTY Z PUNKTU WIDZENIA ZAMAWIAJĄCEGO NA POZIOMIE REALIZACJI PROJEKTU WSZYSTKIE ELEMENTY MAJĄCE NA CELU UTRZYMANIE KONTROLI NAD PROCESEM BADAWCZYM: HARMONOGRAM, ZAPISY O KONTROLI ANKIETERÓW/BADACZY I SZCZEGÓŁY ODNOSNIE RAPORTOWANIA POSTĘPÓW, ALE TAKŻE PRZEWIDZIANE KARY UMOWNE Proces powstawania Zamówienia Szczegółowość SOPZu Od czego zależy szczegółowość SOPZu w perspektywie badanych? • • • Badania trackingowe Badania na wykorzystanej już metodologii Badania porównawcze • USZCZEGÓŁOWIONY SOPZ OGÓLNE WYTYCZNE Luźny pomysł Zamawiającego, bez konkretnej koncepcji, oczekujący na inwencję Wykonawcy Proces powstawania Zamówienia Kryteria doboru wykonawcy - cena Kryterium ceny jest jednym z najbardziej kontrowersyjnych tematów, które były poruszane w trakcie badania. W środowisku panuje przekonanie, że udział kryterium cenowego wiele mówi o kompetencjach Zamawiającego, a doświadczony Zamawiający będzie unikał tego kryterium jako jedynego czynnika wyboru oferty. „Ja wiem, że za te pieniądze można zrobić badanie, nie mam podstaw do odrzucenia oferty. Wiem jednak, że ta cena nie pozwala na zrobienie dobrego badania – z odpowiednim zespołem badawczym, współpracownikami i sprzętem.” Zamawiający Urzędnicy sami psują rynek badań poprzez kryterium 100% ceny. Prowadzi to do ograniczania kosztów, w tym kosztów pracy” Wykonawca Proces powstawania Zamówienia Kryteria doboru wykonawcy - cena WYŁĄCZNOŚĆ KRYTERIUM CENOWEGO ZALETY WYKORZYSTANIA WYŁĄCZNOŚĆ KRYTERIUM CENOWEGO WADY WYKORZYSTANIA Krótszy czas rozpatrywania ofert Brak jakiejkolwiek wiedzy o merytorycznym przygotowaniu wygrywającego Wykonawcy do projektu Przejrzyste kryterium – brak możliwości posądzenia o stronniczość Zagrożenie niską jakością produktu końcowego Nie wymaga angażowania ekspertów do oceny ofert „Psucie rynku” – cięcie kosztów w agencji kosztem wypłat pracowników Proces powstawania Zamówienia Pozacenowe kryteria doboru wykonawcy Kryterium uznane za najlepsze: dodatkowe pytania badawcze CEL: Sprawdzenie, jak Wykonawca myśli i jak „czuje” badanie KRYTERIA RYZYKOWNE: HARMONOGRAM WIELKOŚĆ PRÓBY Proces badawczy Komunikacja między Wykonawcą, a Zamawiającym Kontakt to gwarancja poczucia bezpieczeństwa, a zaburzona komunikacja miedzy oboma podmiotami może być źródłem niedoinformowania, asymetrii wiedzy po obu stronach i niespełnionych oczekiwań odnośnie projektu. Zamawiający i Wykonawcy wiedzą, że muszą współpracować, żeby wspólnie osiągnąć jak najlepsze efekty, nawet wtedy, kiedy współpraca jest trudna poprzez nierówno rozłożone kompetencje. „Cenię sobie kontakt z Wykonawcami, szczególnie, kiedy siadamy i się wspólnie głowimy jak rozwiązać jakiś problem. Generalnie, jak wykonawca nie dzwoni, to odbieram to jako oznakę kłopotów” Zamawiający Proces badawczy Kontrola Wykonawców Dlaczego zamawiający chcą mieć kontrolę nad badaniem: • Złe doświadczenia z poprzednich projektów uczą, że Wykonawcom nie można ufać i trzeba ich kontrolować • Prawo Zamówień Publicznych nie gwarantuje wyboru rzetelnej agencji – ta świadomość uczy, że trzeba przykładać jeszcze większą wagę do pilnowania standardów • Błędów popełnionych w terenie nie da się naprawić, będą rzutować na jakość raportu • Coraz większa waga przypisywana wynikom badań wpływa na chęć kontroli nad całym procesem „Zdarzyło się, ze musieliśmy wytłumaczyć Zamawiającemu, że nagrywanie wypełniania ankiety jest niemożliwe i może zakłócić proces badawczy” Wykonawca Podstawą udanego projektu: agencja badawcza, która potrafi prowadzić efektywną kontrolę wewnętrzną oraz Zamawiający, który nie ogranicza się jedynie do ciągłego sprawdzania każdego elementu badania, ale buduje relacje partnerskie. Zamawiający powinien jednak czuwać nad całym procesem badawczym – to on ostatecznie jest odbiorcą projektu i powinien dawać odczuć, że zależy mu na najwyższych standardach. Kontrola nie jest więc niczym niepożądanym, istotne jest to w jaki sposób jest ona przeprowadzana. Proces badawczy Wykorzystanie wyników badań „Podkładka” do planowania przyszłych badań Raporty w wyniku edukacji urzędniczej i popularyzacji badań społecznych są coraz częściej postrzegane jako źródło rzetelnej wiedzy dla przyszłych działań, wzrost świadomości na temat ich wagi jest wciąż nierównomierny Raporty Wytyczne do podejmowania działań Ocena dotychczasowych działań Proces badawczy Wykorzystanie wyników badań DWA RÓŻNE SPOJERZENIA Zamawiający: „Wykorzystujemy wyniki badań” – nawet jeśli zebranych danych jest za dużo, służą one jako baza do kolejnych projektów Wykonawcy: „Jest coraz lepiej, ale wciąż wiele projektów się marnuje” – poprzez rozdrobnienie celów badawczych i chaos w projekcie często zatraca się główną myśl przyświecającą badaniu „Kiedyś myślałam, ze zamawiający nie nadał sensu badaniu to my nadamy... w tym momencie mam inne odczucia. (Wyniki badań) nie są wykorzystywane tak jak trzeba” Wykonawca Proces badawczy Obecność zewnętrznych ekspertów Obecność ekspertów, którzy mają pomóc Zamawiającemu zamawianiu i koordynowaniu badań jest bardzo dobrym wyjściem dla urzędników, którzy rzadko mają do czynienia z projektami badawczymi: • Pozwala napisać poprawny metodologicznie SOPZ • Pomaga w ocenie ofert i zapobiega rezygnacji z jakościowych kryteriów • Daje poczucie bezpieczeństwa w całym procesie badawczym poprzez umiejętną kontrolę nad działaniami Wykonawcy • Pozwala na uzyskanie wysokiej jakości wyników zgodnych z założeniami projektu i oczekiwaniami instytucji …ALE Wykonawcy spotkali się z ekspertami, który posiadali wiedzę czysto teoretyczną i małe doświadczenie z pracy w terenie. Rozbieżność realiów, w których funkcjonują agencje i eksperci mogą prowadzić do rozbieżności w punktach widzenia i znacznie utrudniać współpracę. Wnioski z badania Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wnioski z badania Największe problemy – perspektywa Wykonawców Wykonawcy spotykają się z trudnościami, które stwarza postępowanie w trybie Zamówień Publicznych już na tyle długo, że wytworzyli pewne mechanizmy ochronne przeciw nim, jednak niektórych problemów nie da się lekceważyć: • Kryterium cenowe, które do tej pory przeważało w większości postepowań przetargowych prowadziło do zepsucia rynku – agencje zmuszone do obniżania drastycznie kosztów zatrudniają swoich pracowników na umowach śmieciowych i poniżej rzeczywistych kosztów ich pracy. • Kryteria pozacenowe, do których coraz częściej odnoszą się Zamawiający nie odwołują się do kompetencji Wykonawców, a często są jedynie „zakamuflowanym kryterium cenowym” • Wymogi odnośnie Wykonawców, określone w SIWZach niejednokrotnie są niesłusznie zawyżane i nieprzystosowane do rzeczywistych celów i poziomu badania . Niejednokrotnie wybrana przez Zamawiającego metodologia nie odpowiada w żaden sposób celom badania, przez co Wykonawca, nie posiadający prawa do negocjacji musi ją przyjąć, jednocześnie będąc przekonany, że badanie nie da odpowiednich wyników. • Chaos w instytucji i niejednoznaczne określenie osób odpowiedzialnych za projekt sprawia, że Wykonawca odczuwa niejednomyślność podejmowanych decyzji i niepewność, co do tego, w którą stronę powinien kierować działania • Wykonawcom zdarza się spotykać z bardzo wyśrubowanymi wytycznymi, które w ich odczuciu bywają absurdalne – spotykają się z karami finansowymi za literówki w raporcie czy wymóg nagrywania na video przebiegu badania ankietowego • Problemem, który najczęściej jednak psuje relacje jest nieuzasadniona kontrola i wrogość zamiast dialogu i zaufania • Wnioski z badania Największe problemy – perspektywa Zamawiających To, że Prawo Zamówień Publicznych i sposób jego wdrażania w obszar badań społecznych są niedoskonałe jest dla Zamawiających oczywiste. Na co dzień spotykają się z trudnościami, które w znacznym stopniu komplikują proces zamawiania i często pozbawiają gwarancji otrzymania dobrze wykonanego badania. Do szczególnych trudności zaliczane jest: • Zero-jedynkowy status wymogów kierowanych do Wykonawców (brak możliwości oceny np. ekspertów w zespołach badawczych) • Zakaz porównywania ze sobą ofert, co w praktyce jest często niemożliwe • • • Niemożność wykluczenia Wykonawcy proponującego cenę, która uniemożliwia wykonanie badania o dobrej jakości Trudności w konstruowaniu i ocenianiu kryteriów pozacenowych, które świadczą o merytorycznym przygotowaniu agencji do projektu bez obawy o posądzenie o stronniczość W wyniku długich terminów związanych z prawem Zamówień Publicznych zmuszeni są skracać harmonogram badań, żeby otrzymać efekty badania odpowiednio wcześnie Wyniki monitoringu Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Monitoring • • W ramach projektu codziennie w okresie od 01.01.2014 do 01.01.2015 monitorowaliśmy Biuletyn Zamówień Publicznych (BZP) oraz Suplement do Dziennika Urzędowego Unii Europejskiej (TED) pod kątem ogłoszeń przetargowych dotyczących badań sondażowych z jednego z następujących kodów CPV: – CPV 79.31.00.00-0 - Usługi badania rynku – CPV 79.31.50.00-5 - Usługi badań społecznych – CPV 79.31.12.00-9 - Usługi przeprowadzania badań ankietowych – CPV 79.31.12.10-2 - Usługi prowadzenia ankiet telefonicznych – CPV 79.31.13.00-0 - Usługi analizy ankiet – CPV 79.32.00.00-3 - Usługi badania opinii publicznej – CPV 79.31.10.00-7 - Usługi w zakresie ankiet – CPV 79.34.23.10-9 - Usługi badania opinii klientów – CPV 79.34.23.11-6 - Usługi ankietowania zadowolenia klientów – CPV 79.41.90.00-4 - Usługi konsultacyjne w zakresie ewaluacji Przez rok monitoringu pojawiło się ponad 200 takich zamówień, z czego 119 zostało zaklasyfikowanych jako badania sondażowe. Każdy Opis Przedmiotu Zamówienia (OPZ) i Specyfikacja Istotnych Warunków Zamówienia (SIWZ) takich badań zostały przeanalizowane, a informacje o zamówieniu oraz jego ocena merytoryczna była zapisywana we wcześniej przygotowanym do tego celu zbiorze. Analogicznie monitorowano również rozstrzygnięcia – spośród 119 zamówień , 12 zostało unieważnionych, dla kilku nie udało się znaleźć części informacji o rozstrzygnięciach. Kryteria formalne • Cena stanowiła średnio 68% kryteriów oceny zamówień (n=119), w 36% zamówień cena była jedynym kryterium (n=119) • W 64% zamówień wygrała oferta z najniższą ceną (n=99) • Średnia różnica w cenie między ofertą najtańszą i najdroższą wyniosła 191 583 zł (n=79), przy średniej cenie zamówienia równej 392 562 zł (n=79) • Średni czas od ogłoszenia zamówienia do wyboru wykonawcy to 43 dni Zamawiający Najwięcej zamówień 7 WUP, Szczecin 18 Największe zamówienia 24,538,725 zł 8 PFRON IBE 1,107,000 zł 1,399,248 zł IFiS PAN OKE, Poznań IBE Wykonawcy Najczęściej wygrywający Największe zamówienia 13 10,830,918.88 zł 12 7,296,500.00 zł 8 4,311,043.00 zł ASM BioStat PBS GfK Millward Brown PBS Cel badania • • • Populacja: Brak precyzji w definiowaniu respondentów (np. turyści, elity) Brak określenia z jakimi osobami z podmiotów zbiorowych (np. przedsiębiorstwa) przeprowadzić badanie • Zakres badania: Pytania badawcze nieodpowiadające specyfice badania sondażowego Brak pytań badawczych • • Termin badania: Krótki czas realizacji badania • • 93% 96% 84% Poprawnie opisana populacja Poprawnie opisany zakres badania Poprawnie opisany termin badania Kwestionariusz • • Wymagania metodologiczne: Brak wymagań odnośnie kwestionariusza dotyczących formy pytań (np. stosowania skal, zamiast pojedynczych wskaźników) • • Konsultacji kwestionariusza: Brak zapisu o konsultacji, gdy zamawiający przygotowywał kwestionariusz • • Pilotaż: Nieokreślenie formy pilotażu 70% 34% • • 29% Czas trawania kwestionariusza: Brak zapisów dotyczących zakładanego czasu trwania kwestionariusza lub liczby pytań 24% Poprawne wymagania odnośnie kwestionariusza Wymóg konsultacji kwestionariusza Wymóg pilotażu kwestionariusza Informacja o planowanym czasie trwania kwestionariusza Dobór próby • • Sposób doboru próbu: Brak informacji o rodzaju próby (losowa czy kwotowa), która ma być zastosowana w badaniu • • Liczebność próby: Brak zapisu dotyczącego liczebności próby • • Kwoty: W zamówieniach dotyczących prób kwotowych brakowało zapisów ze względu na jakie cechy mają być one zachowane 83% 75% 57% 26% • • Operat: Niewystarczająco precyzyjne wymagania odnośnie operatów dostarczanych przez wykonawców Określony sposób doboru próby Liczebność próby Określone kwoty Poprawny operat Realizacja badania • • Certyfikat: Brak informacji na jaki typ badań ma być posiadany certyfikat (CATI, CAPI itd.) • • Technika zbierania danych: Dowolność w technice zbierania danych • • Szkolenia dla ankieterów: Nie zawsze wymóg szkoleń był zapisany w zamówieniach przy których takie szkolenie powinno zostać zorganizowane, natomiast przy niektórych projektach wymóg ten się pojawiał, choć nie był konieczny. • • Kontrola realizacji: Brak informacji na czym taka kontrola ma polegać (terenowa, telefoniczna, czy spójności danych) 91% 58% 40% 24% Wymóg posiadania certyfikatu Określona technika zbierania danych Wymóg szkolenia dla ankieterów Wymóg kontroli realizacji Poziom realizacji próby • • Liczba prób kontaktu: Brak zapisów o zróżnicowanym terminie wizyt/przypomnień • • List zapowiedni: Brak takiego wymogu • • Poziom realizacji próby: Brak zapisów dotyczących poziomu realizacji próby Czasem wymóg zbyt wysokiego poziomu realizacji, skutkujący brakiem ofert • 37% 30% 19% Określona liczba prób kontaktu Wymóg listu zapowiedniego Określony poziom realizacji próby Wnioski z monitoringu Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wnioski z monitoringu • • • • 64% zamówień na badania sondażowe zostało rozstrzygniętych na korzyść oferenta, który przedstawił najtańszą ofertę. Średnia różnica w cenie oferty najtańszczej i najdroższej wynosi niemal 50% średniej ceny zamówienia. Średni czas od ogłoszenia zamówienia do rozstrzygnięcia przetargu to 43 dni, zdarzały się jednak przypadki, że przetarg rozstrzygano już po 15 dniach. W wielu zamówieniach brakowało podstawowych wymagań metodologicznych względem ofert. Brakowało kryteriów takich jak sposób doboru próby czy poziom realizacji. • • Część ofert nie pozwalała na rzetelną wycenę badania (np. przez brak informacji o oczekiwanym czasie trwania wywiadów). W wielu przypadkach dobór metodologii do badania był przerzucany na wykonawców, co przy braku pozacenowych kryteriów oceny zamówień promowało oferty o niskiej cenie. Oferenci rywalizowali na obniżenie kosztów badania, na czym cierpiała jego jakość, a więc i wiedza na podstawie której instytucje publiczne powinny podejmować decyzje. Dziękujemy za uwagę Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG