Transcript Slides om spørgeskemaer

Spørgeskemaer:
Indikatorer, bortfald
spørgsmålsformulering &
skemakonstruktion
Cross Media Communication
Dan Pedersen, 2013
Spørgeskemaer
• 3 typer: Enquete; Telefoninterview; Besøgsinterview
• Statiske & dynamiske undersøgelser
– Statiske: Enkeltstående, beskrivende
– Dynamiske: regelmæssigt gentagne (evt. panel)
• Opinionsundersøgelser & videnskabelige
undersøgelser
Fire måder at arbejde med
spørgeskemaer i vores sammenhæng.
Repræsentativ
undersøgelse
Ikke
repræsentativ
undersøgelse
Kvantitativ
databehandling
Kvalitativ
databehandling
Almindeligvis
uopnåeligt for os af
ressourcemæssige
årsager.
Meningsløst. Sætter
repræsentativiteten
over styr.
Målet for vore
spørgeskemaundersøgelser.
Vi kan påvise
sammenhænge – men
ikke generalisere vore
konklusioner.
En kvalitativ
undersøgelse: Udnytter
ikke den kvantitative
metodes muligheder
(sammenhænge)
Spørgeskemaet og den kvantitative
metode
• Formål: at vise korrelationer: Mønsteret af samvariationen
på to eller flere målbare variable over mange cases.
– Det favoriserer generaliserbarhed
– Vil sige ”så meget som muligt” på baggrund af ”så lidt som
muligt
• Kvantitative forskere ofrer ”dybde viden” om hver enkelt
case for at få et billede af det brede (generelle) mønster.
Variable
• Uafhængig variabel (årsager): det der forklarer variationen
i den afhængige variable.
• Afhængig variabel: (Effekter): Det man ønsker at forklare.
Mål for den kvantitative forskning:
Identifikation af generelle mønstre og relationer i
variationerne:
• Sammenhæng mellem fænomen A og B (Alder og tv-forbrug)
• Give vigtige ”spor” om årsagssammenhænge.
• Sammenhænge kan dog også være forklaret af en tredje uidentificeret
variabel.
• Kvantitativ forskning bruger årsagssammenhænge synonymt med
forklaring.
– Samvariation identificeres.
– Årsagssammenhænge kan udspringe af samvariation – hvis der kan opbygges
en forklaring på baggrund af den årsagssammenhæng.
Test af teori:
• Test er forskellig fra brug: Skaber mening i et allerede indsamlet
datamateriale.
• Teoridannelsen er udgangspunktet for ideer (teorier og hypoteser).
• Foretage forudsigelser: valgprognoser, trafiktællinger, seermålinger.
Spørgeskemaet – et instrument –
Hvornår og hvorfor?
1. Der skal være interviewpersoner nok til, at
det er umagen værd at tælle og fordele på de
undersøgte variable
2. Hele populationer – eller stikprøver?
3. Alle måles på præcis samme måde
4. Svarvariable konverteres til talværdier
5. Hver enhed har for hver variabel kun én
værdi.
H&A S. 98
Population:
• Undersøgelsespopulation:
• Hvem omfatter undersøgelsen.
• Der er en nøje sammenhæng mellem hvad man vælger
at undersøge og hvem man vælger at undersøge.
• Det mest almindelige er at populationen udgøres af
• individer (populos), men også
– Familier/husstande
– Organisationer, skoler, stater osv.
– Hændelser: registrerede selvmordsforsøg
• De enheder der indsamles data fra kaldes
analyseenhederne.
Population 2
Kategori
• Undersøgelses population
•
•
•
•
Udvalgspopulation
Stikprøve
Bortfald
Analyseudvalg
Elementerne i kategorien
• Undersøgelsesenheder
[cases]
• Udvalgsenheder
• Stikprøveenheder
• Bortfaldsenheder
• Analyseenheder
Udvalgspopulation:
• Udvalgsrammen
• Får man udvalgt sin population fra den rigtige ramme?
– Har sortseere f.eks. en mulighed for at være med i TV-meterpanelet?
– Hvem er studerende?
• Hvilke uddannelser (gymnasiet / folkeskolen /mesterlærer).
• Hvor mange timers efteruddannelse/a-kasse kurser?
• Et godt råd: Se hvordan man ’plejer’ at gøre. Det skaber ofte større
sammenlignelighed eks. geografisk spredning af skoler.
• Der kan være så store problemer med at etablere en
tilfredsstillende udvalgspopulation, at man må ændre
undersøgelsens teoretiske afgrænsning.
• Ofte bruger man en udvalgsenhed, før man finder en analyseenhed.
F.eks. ringes en husholdning op, og der spørges efter den første i
husholdningen, der har fødselsdag.
Totaltælling og stikprøver
• Totaltællinger: Alle i populationen er med i undersøgelsen
• Stikprøver: 2 typer:
– Repræsentative
– Ikke repræsentative
• Repræsentative stikprøver
– Den udvalgte delmængde af enheder fra populationen udgør
undersøgelsens stikprøve.
– Man lader sig vejlede af en stikprøve (et miniaturebillede af
populationen).
– Personerne i stikprøven skal principielt være fordelt som i
populationen. De udtrækkes tilfældigt, så der kommer
skævheder, men de er tilfældige – ikke systematiske:
– Tilfældig variation: Forskellen mellem faktisk og teoretisk
fordeling. Netop tilfældig – ikke systematisk.
Udvælgelsesmetoder
i repræsentative stikprøver
• Simpel tilfældig udvælgelse: lodtrækning uden tilbagelækning
– fx bankospil: alle analyseenheder har samme sandsynlighed for at
blive valgt.
• Systematisk udvælgelse: Efter fastlagt princip: hver 4. på en liste; lige
husnumre etc.
• Stratificeret udvælgelse:
– Formål at sikre at alle undersøgelsens hypoteser (om del/undergrupper)
kan testes på baggrund af et tilfredsstillende antal observationer.
– Ofte foretages simpel tilfældig udvælgelse på hver ad de relevante
grupper.
– Man skeler til hvad man ved om grupperne og lader disse overvejelser
indgå i udvælgelseskriterierne.
• Klyngeudvælgelse: Typisk geografiske grupperinger /klynger, der gør
det billigere at indsamle data: F.eks. kommuner, skoler osv.
Stikprøvens Størrelse:
• Størrelsen skal tage udgangspunkt i formålet.
• 4 forhold har stor betydning:
– Den ønskede nedbrydning af resultaterne: jo flere
grupper – jo større stikprøve (hver gruppe skal være
på mindst 100).
– Populationens homogenitet: Jo mere heterogen
population – jo større stikprøve.
– Kravet til resultaternes reliabilitet: stikprøveresultatet
skal være mere end 95 % sandsynligt. Konklusioner
skal drages på et signifikansniveau over 95 %.
– Omkostningerne.
Ikke repræsentative stikprøver
• Baseres på bevidst udvælgelse. Ofte
tilsyneladende repræsentativ for populationen.
• Kvoteudvælgelse: udvælgelsen sker på baggrund
af at respondenterne opfylder prædefinerede
kriterier.
• Især i eksplorative undersøgelser.
• Sneboldudvælgelse (snow ball sample)
• Bekvemmelighedsudvælgelse
• Selvudvælgelse (Ang, Radway)
Survey former & konsekvenser
Enquete
Telefoninterview
Besøgsinterview
Kontrol med
svarsituation.
Ingen
Nogen
Stor
Objektbortfald
(Nægtere)
Stort
Lille
Lille
Partielt Bortfald
(Mangelfulde svar)
Stort
Minimalt
Minimalt
Bortfaldsskævhed
Stor
Mindre
Mindst
Visuelle
hjælpemidler
Ja
Nej
Ja
Interviewereffekt
Nej
Ja
Ja
Geografiske afstand Uden betydning
Beskeden betydning Stor betydning
Omkostningsniveau
Større
Lavt
Størst
Bortfald:
Bortfaldet størst i enqueter – postomdelte spørgeskemaer –
og noget mindre ved CATI interviews (telefon)
• Objekt bortfald: personer mm. der ikke ønsker at medvirke
–
–
–
–
Nægtere
Ikke trufne
Indirekte nægtere – undskyldninger i stedet for afslag.
Enqueter – manglende returneringer.
• Partielt bortfald: mangelfulde besvarelser
– Hvis mange spørgsmål er ubesvarede, kan man overveje, at
udelade spørgeskemaet – så bliver det i stedet objektbortfald.
– Årsagerne til partielt bortfald vil ofte være spørgeskemaets
udformning (formuleringer, emner, længde).
Bortfaldsanalyser:
Hold øje med bortfaldet:
• 2 problemer: bortfaldet størrelse og sammensætning.
– Hvis der mangler mange besvarelser – hvad så?
• Er bortfaldet tilfældigt eller systematisk?
– Foretag sammenligninger
• Afviger det på afgørende variabler fra populationen som helhed?
– Hvad er afgørende variabler?
• En tommelfingerregel for postomdelte spørgeskemaer er at en
svarrate på:
–
–
–
–
–
Over 85%
70 -85%
60 – 70%
50 – 60%
Under 50%
– Storartet
– Fint
- Acceptabelt
- Mindre acceptabelt
- Ikke acceptabelt
Surveys på internettet
• Især egnede til ”netdanmark” eller mere specifikke
populationer (Facebook-brugere/sociale netværk).
• Stikprøverne er ikke repræsentative, da netdanmark
adskiller sig fra populationen af danskere som helhed
mht. køn, alder, uddannelse, bopæl og interesser mm.
• Den vigtigste problemstilling i forhold til netanalyser er
selvmeldingen. Hvem er det der melder sig – og i
hvilken grad influerer det på repræsentativiteten?
• Til gengæld er det nemt:
– Der findes flere firmaer, der tilbyder delvis gratis software
for studerende.
– Ikke alle problemstillinger kræver repræsentative samples.
Spørgsmål & svar i spørgeskemaer:
Alle spørgeskemaers moder?
Udspekulerede alternativer
• Den konsekvente
• Den
(selv)manipulerende
5 Spørgsmålstyper med 3 dimensioner
• Indholdsdimensionen
– Faktuelle: Alder, køn, handlinger etc.
– Kognitive (viden): Hvem, hvilke, hvor mange etc.
– Holdnings: Hvor enig, tilfreds etc …
– Evaluerings. Sammenligninger med før efter (ofte
også holdningsspørgsmål).
• Tidsdimensionen: fortid, nutid, fremtid
• Svardimensionen: åbne eller lukkede
spørgsmål
Videnskabelig sprogpraksis vs.
hverdagssprog
• Udgangspunkt: vi taler ”samme sprog”
• ”oversætte” begreber til hverdagssprogligt
indhold.
– Kommunikationsopfattelse i spørgeskemaet:
transmission: stimuli - respons
• Får vi svar på det vi spørger om (validitet)
• ”Vi får svar på det, folk tror vi spørger om”.
(Chesterton, krimi-forfatter)
Svarkategorier
• Dække ”svarudfaldsrummet” og være
hinanden udesluttende.
• Neutral kategori: Lige/ulige
• Ved ikke kategorien
– Kognitive spørgsmål vs. holdningsspørgsmål
• Irrelevante spørgsmål
– Logiske filtre
• Effekt af svarrækkefølgen
Måleniveau og skalatyper
• Nominalskalaer: afgør kvalitative egenskaber (fx køn
eller uddannelse)
– Ens eller forskellig: a=b og a≠ b
• Ordinalskalaer: entydig rangordning af variabler (svar)
– 1 fuldkommen enig; 2 Ret enig; 3 Ret uenig;
4 Fuldkommen uenig.
– Ofte, af og til, Sjældent, aldrig
• Intervalskalaer: rangorden og interval uden fast nulpkt.
– Årlig indkomst i kr. Alder i leveår: _________ .
• Ratioskalaer: rangorden og interval med fast nulpunkt
– Alder: 10-19, 20-29 etc.
Mål og indikatorer
• Mål er det, der umiddelbart kan sanses og afgøres, ved at
spørge direkte til det.
• Indikatorer er operationaliseringer af begreber
– Bryd begrebet ned i en række relevante dimensioner – hvor
hver dimension bliver et mål.
– Stil spørgsmål til de enkelte dimensioner.
•
2 svarmuligheder
–
–
Hvis alle dimensioner er lige vigtige, kan antallet af
valg/positive tilkendegivelser tages til indtægt for hvordan
man forholder sig til begrebet.
I tilfælde hvor alle dimensioner ikke er lige vigtigt, kan
dimensionerne tildeles point efter vigtighed
• Lykke; tillid – Hvad er dimensionerne?
Ords betydningsvidde og flertydighed
• Semantisk felt: ordets ”intention” –
betydningsindhold.
• Flertydighed: ekstension – den empiriske
reference der kan knyttes til ordet.
• Spørgsmåls præcision: tomme pladser:
flertydige ord kan finde deres betydning i
kontekstens entydighed.
Not to do …
• Tekniske, informationsbærende ord
– Hvor ofte ser De reality-tv?
• Dobbelte negationer
– Er det ikke sådan, at man ikke kan afgøre ….
• Lange spørgsmål: Bryd op i delspørgsmål
• Værdiladede eller ubalancerede spørgsmål
– Flere positive end negative kategorier/ladede ord
• Retrospektive spørgsmål: Hukommelsen er usikker
• Følsomme og belastende emner
• Fiktive emner
Svagheder ved spørgeskemaer
• Beror på selv-rapportering, der kan være
unøjagtig.
• Brugen af verbale måleenheder til af
observerbare begivenheder, repræsenterer
måske ikke helt, hvad der skete.
• Giver kun grader af tilkendegivelser, og kan
derfor ikke i sig selv gøre det ud for kausale
forklaringer