Transcript Document
ZBIRANJE IN VIRI STATISTIČNIH PODATKOV • Statistično raziskovanje kot instrument pridobivanja podatkov v US • Vrste statističnih raziskovanj • Proces statističnega raziskovanja – Načrtovanje – Izvedba – Evalvacija • • • • • • • • Okvir raziskave in zajetje Posebnosti administrativnih virov Registri kot okvir načrtovanja raziskav Vzorčne raziskave Sekundarni načini pridobivanja podatkov Tehnike pridobivanja podatkov Elektronsko pridobivanje podatkov Literatura in viri OPREDELITEV STATISTIČNEGA RAZISKOVANJA (SURVEY) Survey - anketa, anketiranje, opazovanje (Statistični terminološki slovar, str. 333) Anketa – na podlagi vnaprej pripravljenih vprašanj, zbirani podatki o dogajanju na določenem področju, na primer anketa javnega mnenja, panelna anketa (Statistični terminološki slovar, str.17) STATISTIČNO RAZISKOVANJE V URADNI STATISTIKI Pridobivanje statističnih podatkov v skladu z vnaprej opredeljenimi postopki in metodologijami na osnovi veljavne zakonodaje oz. PSR. STATISTIČNA RAZISKOVANJA US GLEDE NA VIRE PRIDOBIVANJA PODATKOV • Popisi • Vzorčne raziskave • Uporaba podatkov iz administrativnih virov, vključno registrov • Sekundarni načini pridobivanja podatkov Način izvedbe statističnih raziskav STATISTIČNA RAZISKOVANJA GLEDE NA PREDMET OPAZOVANJA (PO STATISTIČNEM LETOPISU) • • • • • • • • • • Ozemlje in podnebje Upravna prostorska razdelitev Poslovni subjekti Prebivalstvo Volitve Izobraževanje Raziskovanje in razvoj Kultura in šport Zdravstvo Socialna varnost • • • • • • • • Kriminaliteta Aktivno prebivalstvo Plače Življenjska raven Cene Kmetijstvo in ribištvo Gozdarstvo in lov Rudarstvo in predelovalne dejavnosti • Energetika • Obrt STATISTIČNA RAZISKOVANJA GLEDE NA PREDMET OPAZOVANJA (PO STATISTIČNEM LETOPISU) • • • • • • • • • • Gradbeništvo Transport Komunikacije Zunanja trgovina Trgovina Odkup Gostinstvo in turizem Nacionalni računi Investicije v OS Konsolidirana bilanca JF • Sredstva prebivalstva • Plačilna bilanca • Okolje STATISTIČNA RAZISKOVANJA GLEDE NA PREDMET OPAZOVANJA (PO EUROSTATU ) • Splošna statistika • Ekonomija in finance • Industrija, trgovina in storitve • Zunanja trgovina • Transport • Okolje in energija • Znanost in tehnologija Proces statističnega raziskovanja US NAČTROVANJE OKVIR IZVEDBE OKVIR RAZISKAVE OPREDELITEV VSEBINE VZORČENJE IZVEDBA OPREDELITEV IZVED.POSTOPKOV ZBIRANJE PODATKOV OBDELAVA PODATKOV EVALVACIJA KONTROLA REZULTATOV PRIPRAVA PODATKOV DOKUMENTACIJA META PODATKI EVALVACIJA META PODATKOV OCENE IN ANALIZE DESIMINACIJA AUDITING ARHIVIRANJE Načrtovanje statističnega raziskovanja POTREBE UPORABNIKOV OPREDELITEV RAZISKOVALNEGA PROBLEMA OPREDELITEV CILJNE POPULACIJE IZBIRA METODE ZA ZBIRANJE PODATKOV NAČRT RAZISKAVE PRIPRAVA VPRAŠALNIKA Vir: Prirejeno po UN, Statistical Standards and Studies, No. 51 Izvedbene faze statističnega raziskovanja OKVIR VPRAŠALNIK NAVODILA ZBIRANJE PODATKOV VHODNI PODATKI BAZA META OBDELAVA PODATKOV ZDRUŽEVANJE IN KONTROLA PODATKOV KONČNI PODATKI OCENE IN ANALIZE IZVEDENI PODATKI KONČNI REZULTATI DISEMINACIJA TISKANE PUBLIKACIJE ELEKTRONSKI DOKUMENTI ARHIVIRANJE ELEKTRONSKI PROIZVODI Vir: Prirejeno po UN, Statistical Standards and Studies, No. 51 IZVEDBENE FAZE: ZA VZORČNO RAZISKOVANJE • Oblikovanje vzorčnega okvira in povezovanje s pomožnimi spremenljivkami • Izbira enot v vzorec • Priprava vprašalnika in inštrukcije • Zbiranje podatkov • Obdelava (kodiranje, logična kontrola in urejanje) • Priprava končnih podatkov • Ocene in analize • Publiciranje in diseminacija • Arhiviranje EVALVACIJA • Proces ocenjevanja vseh elementov kvalitete in zadovoljstva uporabnikov – poročilo o kvaliteti • Izvajalci evalvacije OKVIR RAZISKAVE IN ZAJETJE Končni cilj vsake statistične raziskave je posplošiti dobljene rezultate na celotno populacijo. S tega vidika determinirajo ustreznost statističnih raziskav: stopnja in popolnost zajetja, relevantnost vsebin, točnost in pravočasnost. Napake pri zajetju ciljne populacije ‘UNDERCOVERAGE’ CILJNA POPULACIJA VZORČNI OKVIR ‘OVERCOVERAGE’ OD IDEALA K REALNOSTI • Idealna ciljna populacija - skladna z zahtevami uporabnika • Izvedljiva ciljna populacija • Vzorčni okvir • Vzorec PRIMER: analiza konkurenčnosti ponudnikov softverskih storitev v Sloveniji PRVA FAZA: od idealne do uresničljive ciljne populacije •Nace kot osnovni okvir ? •Neformalni sektor? •Nerazpoložljivost določenih kategorij na ravni proizvodov (CPA) •KAU kot enota opazovanja? Uresničljiva ciljna populacija: vsi PS v obdobju od 1.1. do 31.12., razvrščena po glavni dejavnosti v skupino ‘ proizvodnja softverskih storitev’. Okoliščine izbire in dokumentiranost odločitev PRIMER: analiza konkurenčnosti ponudnikov softverskih storitev v Sloveniji DRUGA FAZA: Od ciljne populacije do vzorčnega okvira raziskave – PR ne vsebuje samozaposlenih (undercovrage) – Mrtve duše (overcoverage) PRIMER: analiza konkurenčnosti ponudnikov softverskih storitev v Sloveniji TRETJA FAZA: Od vzorčnega okvira do opredelitve vzorca – Izključitev enot , ki so prenehale delovati v tekočem letu (iz pragmatičnih razlogov) PROBLEMATIKA RAZČLENITVE POPULACIJ • Z vsebinskega vidika (uporaba klasifikacij) • Z geografskega vidika (nacionalni in nadnacionalni nivo) • Časovna dimenzija – Razlikovanje med spremenljivkami toka in spremenljivkami stanja – Paneli in kohorte VRSTE DEFINICIJ • • • • Konceptualne Funkcijske Operativne Razširjene • Primer: – HICP – Strukturne statistike podjetij HICP –Harmonised Consumer Price Index indikator infalcije v EU • Koncept: inflacija je stalno naraščanje splošne ravni cen; • Namen: HICP meri inflacijo v državah EU na metodološko usklajen način s pomočjo indeksa cen življenjskih potrebščin. • Operativna opredelitev: HICP je indeks cen Laspeyresovega tipa, ki temelji na cenah proizvodov in storitev na ekonomskem območju držav EU, namenjenih direktnemu zadovoljevanju potreb potrošnikov. ADMINISTRATIVNI VIRI PODATKOV • Administrativni viri podatkov so zbirke podatkov, ki se zbirajo primarno za druge (nestatistične) namene. Primerjava uporabnosti administrativnih virov podatkov in statističnih raziskovanj Administrativni viri Statistična raziskovanja • • Stroški bremenijo statistiko • Obstoj (hranjenje) določa statistika • Spremembe določa statistika • Draga obdelava, a pod kontrolo statistike • Možnost obveznega poročanja, a vprašanje kvalitete? • Opredelitve in ostali elementi metodologije v domeni statistike • Obremenitve poročevalskih enot • • • • • • Relativni nizki stroški za statistiko Zagotovljena trajnost Občutljivi na formalne spremembe Stroga kontrola Vprašanje zaupnosti in dostopnosti Nekateri viri nezanesljivi Opredelitve neprilagojene statističnim konceptom Primerjava uporabnosti administrativnih virov podatkov in statističnih raziskovanj Administrativni viri • Kontrola v domeni matične ustanove • Praviloma popolno zajetje • Dostopnost- praviloma elektronski mediji • Rigidnost ustanov • Majhna obremenitev poročevalskih enot • Koristi od skupnega sodelovanja KOMPETENCE SURSA PRI OBLIKOVANJU ADMINISTRATIVNIH ZBIRK 28. člen ZOS: • Upravni in drugi javni organi, ki zbirajo statistične podatke izven PSR, določajo metodološke osnove za ta statistična raziskovanja po predhodnem mnenju SURSa. • Upravni in drugi javni organi morajo pred določitvijo novih ali ob dopolnjevanju obstoječih uradnih oz. administrativnih zbirk podatkov (evidence, registri, baze) o tem obvestiti SURS in zahtevati njegovo mnenje. POGOJI ZA UPORABO REGISTROV V PRIPRAVI OKVIRA RAZISKAV • Vsebinski in konceptualni pogoji. – Celovitost (zajetje vseh enot ciljne populacije) – Možnost identifikacije enot – Skladnost s potrebami uporabnikov • Zanesljivost – Zajetja enot – Zanesljivost podatkov – Ažurnost • Tehnični pogoji – – – – • Dokumentiranost Računalniška podpora Šifriranje Možnost klasificiranja Administrativni pogoji PRIMER: kako obravnavati (odpraviti) pomanjkljivosti registra Cilj raziskave je analizirati konkurenčnost podjetij s softverskimi storitvami. Ciljno populacijo opredelimo kot vse KAU, delujoče kadarkoli v letu X, katerih glavna dejavnost je po SKD ‘proizvodnja softverskih storitev’. Vzorčni okvir temelji na stanju registra 1.januarja v letu X+1. PRIMER: možni odkloni med opredelitvijo ciljne populacije in vzorčnim okvirom 1. 2. 3. 4. 5. 6. 7. Nevključenost samozaposlenih v PR Brisanje iz registra enote, ki so prenehale delovati med letom x Sprememba glavne dejavnosti pred letom x ni registrirana v registru Mrtve enote Napačno razvrščanje po dejavnosti Enačenje pravnih enot s podjetji Sprememba identifikacijske šifre brez realne spremembe Ideje, kako odpraviti ali omiliti te pomanjkljivosti! VZORČNE RAZISKAVE • • • • • • Opredelitev vzorčnega okvira Vzorčni načrt in metode ocenjevanja Elementi strategije vzorčenja Tehnike vzorčenja Vprašalnik Obremenitve poročevalskih enot OPREDELITEV VZORčNEGA OKVIRA • Izbira enot v vzorec (analitične enote kot enote ciljne populacije: poročevalske enote kot enote, vključene v vzorec) • Obseg vzorčnega okvira (dileme: kako obravnavati retro- korekcije PR; skladnost okvirja za mesečne in letne raziskave) VZORČNI NAČRT IN METODE OCENJEVANJA • Opredelitev vzorčnega načrta (ciljna populacija, izbor enot in verjetnosti); primer • Izbor cenilke za ocenjevanje parametrov populacije • Dejavniki vzorčnega načrta in pomen pomožnih informacij (strategija) ELEMENTI STRATEGIJE • • • • Pristranskost Varianca Povprečna kvadratna napaka Koeficient variacije i TEHNIKE VZORČENJA • • • • • Enostavno slučajno vzorčenje Stratificirano vzorčenje Vzorčenje v skupinicah Vzorčenje v več stopnjah PPS • Kvotno vzorčenje PRIPRAVA VPRAŠALNIKA • Iterativni proces, povezan z vzorčnim načrtom, pričakovanih informacij in možnosti za njihovo pridobitev – Splošni pogoji in faze priprave vprašalnika – Operacionalizacija konceptov in priprava prototipa – Izbor tehnike SPLOŠNI POGOJI IN FAZE PRIPRAVE VPRAŠALNIKA • Splošni pogoji izvedbe raziskave – – – – – – Primerno oblikovano ‘zaprosilo’ Strategija opomnikov Izbor tehnike posredovanja podatkov Način posredovanja podatkov Varstvo in zaščita osebnih podatkov Kontaktne osebe • Testiranje vprašanje – Kvalitativni preizkus – Pilot – Celovita evalvacija • Kontrolne aktivnosti med samo izvedbo Operacionalizacija konceptov in prototip vprašalnika • Ključno vprašanje: ravnovesje med (idealnim) konceptom in informacijskimi možnostmi poročevalske enote • Format vprašalnika odvisen od izbrane tehnike, skupne značilnosti: – – – – Celovita in prepričljiva predstavitev namena in ciljev raziskovanja Konciznost, razumljivost, jasnost Spodbuditi zanimanje Logična struktura in zaporedje vprašanj • Splošna priporočila Splošna priporočila • Izogibati se okrajšav • Specificirati vprašanje mere, točnost, podrobnost; opredeliti, kaj vključiti in kaj izključiti; • Izogibati se povezanih vprašanj ( dve v enem) • Primernejša so zaprta vprašanja • Preglednost in logičnost vprašalnika • Navodila, pojasnila • Izogibati se (z vidika respondenta) irelevantnih vprašanj STATISTIKA IN RESPONDENT • Zmanjšati obremenitev poročevalskih enot • Reducirati stopnje neodgovorov • Povečati učinkovitost z uporabo ICT KONCEPT OBREMENITVE POROČEVALSKIH ENOT • • • • • Kvalitativni: kvantitativni Objektivni : subjektivni Bruto: neto Obvezni: prostovoljni Maximalistični: minimalistični SPLOŠNI UKREPI ZMANJŠEVANJA OBREMENITVE POROČEVALSKIH ENOT • Koordinacija in integracija statističnih raziskovanj • Koordinacija zbiranja podatkov za iste spremenljivke • Koordinacija vzorčnih okvirov • Informiranje poročevalskih enot Primer SEKUNDARNI NAČINI PRIDOBIVANJA PODATKOV • Pridobivanje podatkov s povezovanjem različnih virov • Ocene in modeli Proposal for SBS Development in Slovenia: Conceptual Integration Group variables Enterprise Demography Investment Labour Employment Output-Input Output breakdown Input breakdown R&D Modules’ specific variables Recommended sources Com.Acc. Stat.Source B.Register N.A. UKREPI ZMANJŠEVANJA OBREMENITVE POROČEVALSKIH ENOT PRI POSAMEZNEM RAZISKOVANJU • • • • • • • Kar se da zmanjšati število enot opazovanja Enota opazovanja ‘po meri’ respondenta Opredelitve spremenljivk ‘po meri’ respondenta Upoštevati sposobnost poročevalskih enot Vprašalnike prilagoditi specifičnostim področja Relevantnost vprašanj in pojasnil Povratne informacije in merjenje obremenitev STOPNJA ODGOVOROV • Mejni primeri pri določanju stopnje odgovorov? • Kako povečati stopnjo odgovorov? TEHNIKE PRIDOBIVANJA PODATKOV Način Instrument Tiskani vprašalnik Elektronski vprašalnik Samoanketiranje Samostojno izpolnjevanje, dnevnik Internet vprašalnik CASI Intervju Anketar CAPI CATI ELECTRONIC DATA INTERCHANGE EDI KOT ORODJE UČINKOVITEGA ZBIRANJA PODATKOV Enostavna ideja - izmenjava informacij v omrežju brez posredovanja človeškega faktorja; a zahtevna uresničitev zaradi tehnoloških in konceptualnih nekompatibilnosti: Primeri? Postopki vzpostavljanje kompatiblinosti: Tehnološki Jezikovni Računski Ocenjevanje POSTOPKI ELEKTRONSKEGA PRIDOBIVANJA PODATKOV Pristopi temeljijo na metodah in principih elektronskega poslovanja: •EDR (Electronic Data Reporting, namenjen prenosu surovih podatkov s pomočjo elektronskih vprašalnikov) – CSAQ (Computerised Self-Administered Questionnaires) – IQML (Intelligent Questionnaire Mark-up Language; interaktivnost) •EDI Electronic Data Interchange –izmenjava informacij v omrežju brez posredovanja človeškega faktorja. •EDIFACT (for Administation, Commerce and Transport) • Aplikacije EDIFACT: – EBES na področju ZT; – GESMES General Statistical Message- časovne serije in večdimenzionalne podatke) – CLASET klasifikacije • XML – elektronska izmenjava podatkov s pomočjo spleta – omogoča več fleksibilnosti in komuniciranje (eXtensible Mark-up Language) • ebXML - omogoča sintakso in tudi semantiko Elektronsko zbiranje podatkov: SLOVENIJA • EDI-FIN (v okviru TELLER) • QUESTIONATOR- tehnologija priprave vprašalnikov LITERATURA • Cochran, W.G.: Sampling techniques. 3rd Ed. New York: John Wiley & Sons, 1977. • Biemer et al.: Measurement errors in Surveys. New York: John Wiley & Sons, 1991. • Košmelj B. in Rovan J.: Statistično sklepanje; Ljubljana: Ekonomska fakulteta, 1997. LITERATURA • Willeboordse Ad (ed.): Handbook on the Design and Implementation of Business Surveys, Eurostat, 7/C, 1998 • Use of administrative sources for business statistics puposes, Eurostat, 1999. • Križman I., Klanjšček M. in Čerk A.: Management, Organisational and Policy Issues Related to EDR in SORS; UNECE/Eurostat, Geneva, 2002, 10 str. • Kunzler Uwe: Standardisation of Statistical Data Collection and Exchange – The Current Transition from EDIFACT to XML, 12. Statistični dnevi, Radenci, 2002, str. 139 –147. • CIRCA: EDI in Statistics