przetargów na badania sondażowe z roku 2014 Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej Komentarz do raportu

Źródłem patologii przergowej są błędne przeświadczenia zamawiających sondaż Agencja

badawcza

potrafi

odpowiedzieć na pytania zamawiającego

Agencja

badawcza

potrafi

dopasować „metodologię” do potrzeb zamawiającego

Zamawiający

, który nie potrafi określić „metodologii” dopasowanej do własnych potrzeb

potrafi

ocenić „metodologie” oferowane przez potencjalnych wykonawców Dobry sondaż można zaprojektować, zamówić, skontrolować i opracować bez udziału

specjalisty od badań sondażowych

oraz

statystyka Cena

jest racjonalnym kryterium wyboru wykonawcy sondażu Istnieją

tanie sondaże

dobrej jakości, szybko i dobrze wykonane W sondażu z wykorzystaniem ogólnopolskiej imiennej próby adresowej

można

response rate powyżej 50% płacąc za 1 wywiad nie więcej niż 100 PLN osiągnąć

Tym, za co płaci się w badaniu sondażowym jest

liczba

zapisów

wywiadów

dostarczonych zamawiającemu przez agencję badawczą

Sondaż jest przedsięwzięciem kosztownym

Koszt zł

1. Prace poprzedzające projekt (dane i badania zrealizowane wcześniej) 2. Przygotowanie projektu: dokładność oszacowań, podział budżetu, harmonogram

1500 7500

3. Przygotowanie kwestionariusza (testy, pilotaże) 4. Dobór próby, koszt operatu, optymalizacja dojazdów 5. Przygotowanie i przeprowadzenie przetargu 6. Realizacja badania w terenie 7. Nadzór nad realizacją (kontrola zewnętrzna ankieterów)

6000 4000 1500 9000 Koszt % 1-2 5-10 5-7 3-5 1-2 8-10

8. Analiza danych 9. Dokumentacja badania 10. Raport z badania razem

3500 1500 3500 40000 2-5 1-2 2-5 40% Podział budżet typowego badania ogółnopolskiego średniej welkości 100 między wszystkie jego etapy

oprócz realizacji w terenie

Projektowanie sondażu – harmonogram

Etap 1. Prace poprzedzające projekt 2. Przygotowanie projektu 3. Przygotowanie (testy) kwestionariusza 4. Dobór próby 5. Przygotowanie i przeprowadzenie przetargu 6. Realizacja badania w terenie 7. Nadzór nad realizacją 8. Analiza danych 9. Dokumentacja badania 10. Raport z badania Razem Czas (tygodnie) 1-2 2-3 3-4 1 2 (przygotowanie) 4 (przeprowadzenie) 4-5 1 1 1 2 20-26 Harmonogram typowego badania ogółnopolskiego średniej welkości o budżecie 100 tys. zł

Poprawny projekt Poprawne wymagania wobec próby Poprawbe wymagania wobec realizacji Komentarz Obraz uzyskany z monitoringu jest zbyt optymistyczny, gdyż zastosowane w nim kryteria oceny przetargów były bardzo – wobec zamawiających pobłażliwe.

Rzeczywistość jest znacznie gorsza, niż to raport pokazuje.

Co trzeba zmienić w prawie i w praktyce zamawiania sondażu

Oddzielić projektowanie badań sondażowych od zadań administracji publicznej Powierzyć projektowanie badań sondażowych zespołom kompetentnych specjalistów wśród których co najmniej jeden będzie kompetentny statystycznie Przyjąć, że zamawiający sondaż odpowiada za całą „metodologię” badania, to znaczy: - Sformułowanie celu sondażu, - Kwestionariusz (dobór wskaźników) - Dobór próby (warstwowanie, alokacja, wiązkowanie) - Wymagania jakościowe realizacji Przy wyborze wykonawcy jako podstawowe kryterium stosować relację między jakością i kosztem Przyjąć zasadę, że jakość wykonania sondażu podlega zewnętrznej kontroli a jej wyniki decydują o wysokości wynagrodzenia wykonawcy Zaprojektować i uruchomić system dokształcania „sondażowego” pracowników administracji publicznej aby nie wydawali środków publicznych na badania bezwartościowe, niepotrzebne lub niemożliwe do poprawnej realizacji

Dziękuję za uwagę